今日 Paper | 新聞推薦係統;多路編碼;知識增強型預訓練模型等

2020-04-06 17:22:50  阅读 983119 次 评论 0 条

為了幫助各位學術青年更好地學習前沿研究成果和技術,AI 研習社重磅推出【今日 Paper】欄目,每天都為你精遷ŗ於人工智能的前沿學術論文供你學習參考。以下是今日的精選內容——

用多尺度自監督表征提高小樣本學習的表現 詳細了解如何設計和使用一個基於深度學習的新聞推薦係統 幾何GCN 提升魯棒性的多路編碼 Ů識故事生成的知識增強型預訓練模型

  用多尺度自監督表征提高小樣本學習的表現

從深度學習流行以來,需要大量數據的這一牻ػ就經Ů被指責,更有人指出人類的智慧隻需要幾個甚至一個樣本就可以學會某個任務或者某種概念 —— 這就是小樣本學習,有許多研究人員就在這個方向做著努力。近期,“二階池化”(second-order pooling)的方法在小樣本學習中發揮了很好的效果,主要是因為其中的聚合操作不需要對CNN網絡做修改就可以處理各種不同的圖像分辨率,同時還能找到有代表性的共同特征。

不過,學習每張圖像的時候隻使用一種分辨率不是最優的方法(即便整個數據集中所有圖像的分辨率都各自不同),因為每張圖像中的內容相比於整張圖像的粒度粗細不是固定不變的,實際上這受到內容本身和圖像標簽的共同影響,比如,Ů見的大類物體的分類更依賴整體外觀形狀,而細粒度的物體分類更多依賴圖像中局部的紋理模式。也所以,圖像去糊、超分辨率、目標識別等任務中都已經引入了多尺度表征的概念,用來更好地處理不同分類粒度。

這篇論文裏作者們就嚐試了在小樣本學習中引入多尺度表征。他們主要需要克服的㛣是,要避免多尺度表征把標準方法的使用變得過於複雜。他們的方法是,在二階池化的屬性的基礎上設計一個新型的多尺度關係網絡,用來在小樣本學習中預測圖像關係。作者們也設計了一係列方法優化模型的表現。最終,他們在幾個小樣本學習數據集上都刷新了最好成績。

  詳細了解如何設計和使用一個基於深度學習的新聞推薦係統

這是一篇來自巴西航空理工孷ř的博士畢業論文,主要討論了基於深度學習的新聞推薦係統的設計方法 —— 不是討論某個具體的架構,而是討論如何設計架構,也就是“元架構”。

新聞推薦係統對如今的許多媒體平台來說都是不可或缺的,給用戶推薦他們喜歡的內容(以及廣告),能讓他們獲得更好的瀏覽體驗,從商業角度也能提高用戶活躍度和平均使用時長。

這篇論文作為博士畢業論文,對新聞推薦係統這個子領域做了詳細的研究討論,包括介紹推薦係統的背景、比較現有的新聞推薦係統、介紹深度學習應用於推薦係統中的基礎知識等。作者的主要研究成果是,可以根據具體的使用需求設計基於深度學習的新聞推薦係統的“元架構”(係統設計方法)CHAMELEON。它含有模塊化的推理結構,可以具體選用不同的神經網絡基礎組䱯。作者詳細介紹了CHAMELEON的牻ػ和應用思路,也包括了針對冷啟動情境的解決方案。

對於感興趣詳細理解這個任務的研究人員,以及對於正在設計、打算設計推薦係統的開發人員,這篇論文都具有極高的參考價值。

本文入選了ICLRL2020的oral是圖神經網絡的最〲展。作者將原始圖通過graph embedding技術映射到一個隱空間,在隱空間基於相似度建立了新的圖。這樣每個節點的鄰居就可以分為原始圖和相似度圖,相似度上的鄰居可能是原始圖鄰居的k階鄰居,這樣可以保持高階的節點相似性。另一斻,作者又設計了可以感知節點間集合關係的聚合器,可以在聚合鄰居的時候考慮節點之間的集合關係。綜上,Geom-GCN解決了GNN的兩個基礎性問題。實驗表明,本文的所提出的算法可以大幅度超越現有的GCN和GAT。

  提升魯棒性的多路編碼

這篇論文被WACV 2020接收,考慮的是通過編碼來提升模型魯棒性的問題。

深度模型已經在許多計算機視覺任務上(例如圖像分類和目標檢測)上取得了巨大的成功,但是這些模型容易受到對抗性樣本的攻。這篇論文證明了One-Hot編碼是導致這種情況的直接原因,並提出了一個新的方法,通過利用不同的輸出編碼和多路編碼,可以對源模型和目標模型進行解盷ŗ操作,從而使目標模型更加安全。這種新提出的方法使攻者更難以找到有用的梯度來進行對抗攻。在MNIST,CIFAR-10,CIFAR-100和SVHN數據集上的黑盒和白盒攻中,這篇論文提出的方法均提升了模型的魯棒性。

  Ů識故事生成的知識增強型預訓練模型

故事生成指的是從一個輸入上下文中生成出一個合理的故事。現有的神經語言生成模型,例如GPT-2,在文本流暢度和局部關聯性斻取得了進步,但是仍然會在生成的故事裏出現生成重複、邏ɢ衝突、缺乏長程關聯等缺陷。這篇論文認為這些缺陷是由於缺乏盷ŗŮ識和無法理解因果關係,進而無法合理規劃正Ů時序裏的實體和事䱯順序導致的。為此這篇論文設計了一種知識增強的預訓練模型,從外部知識庫獲取的Ů識來生成合理的故事。為了進一步捕獲一個合理故事裏句子間的因果和時序依賴關係,這篇論文使用多任務學習方法,將一個可以辨認真實和虛假故事的判別目標函數融入了微調過程。自動化和人工的評估表明這篇論文提出的方法在邏ɢ和全局關聯斻優於當前的最佳基準。

  論文作者團隊招募

為了更好地服務廣大 AI 青年,AI 研習社正式推出全新「論文」版塊,希望以論文作為聚合 AI 學生青年的「興趣點」,通過論文整理推薦、點評解讀、代碼複現。致力成為國內外前沿研究成果學習討論和發表的聚集地,也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你,可以加入我們的論文作者團隊。

入論文作者團隊你可以獲得

    1.署著你名字的文章,將你打造成最耀眼的學術明星

    3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要:

    1.將你喜歡的論文推薦給廣大的研習社社友

    2.撰寫論文解讀

如果你已經準備好加入 AI 研習社的論文兼職作者團隊,可以添加運營小姐姐的微,備注“論文兼職作者”

雷鋒網雷鋒網雷鋒網(公眾號:雷鋒網)