在碎片化閱讀充斥眼球的時(shí)代，越來越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第 130?篇文章

@jingyihiter 推薦

#Text Generation

本文來自國防科大和微軟亞研院，文章提出 pre-training-based 的 encoder-decoder 框架，encoder 采用 BERT 將輸入序列表示為 context 向量，decoder 分為兩階段：第一階段采用 transformer-based 解碼生成偽輸出序列，第二階段對(duì)偽輸出序列進(jìn)行 mask 送入 BERT 表示，將輸入序列與偽輸出序列聯(lián)合，解碼預(yù)測輸出序列。

文章首次將 BERT 應(yīng)用于文本生成任務(wù)，在 CNN/Daily Mail 和 New York Times 數(shù)據(jù)集上達(dá)到 SOTA 的結(jié)果。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2855

@QAQ 推薦

#Language Model

本文介紹了來自 OpenAI 的新語言模型 GPT-2，其在文本生成任務(wù)上達(dá)到接近人類水平，可生成論文（并編造數(shù)據(jù)與引用使論證看上去合理）、續(xù)寫幻想故事。在多個(gè)數(shù)據(jù)集上碾壓當(dāng)前結(jié)果。在未經(jīng)專門訓(xùn)練的情況下實(shí)現(xiàn)翻譯與閱讀理解。不足是會(huì)出現(xiàn)重復(fù)文本與世界建模失敗（如在水下發(fā)生火災(zāi)）。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2822

源碼鏈接

https://github.com/openai/gpt-2

@rico93 推薦

#Attention Mechanism

本文來自康奈爾大學(xué)和 Facebook AI Research，論文提出的 lightweight convolution 模型相對(duì)于 transformer 來說能達(dá)到一致的水平，但只需要更少的操作數(shù)量，運(yùn)算速度比 Transformer 快 20%。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2801

源碼鏈接

https://github.com/pytorch/fairseq

@Ttssxuan 推薦

#Auto ML

本文來自 Google Brain，論文提出了 progressive dynamic hurdles (PDH) 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，此方法能夠動(dòng)態(tài)的把資源分配到相對(duì)優(yōu)秀的候選者，最終得到“Evolved Transformer”，其在幾個(gè)翻譯任務(wù)（WMT 2014 English-German, WMT 2014 English-French, WMT 2014 English-Czech, LM1B）相對(duì)原始 Transformer 有一致的提升，并且有更高的計(jì)算效率和更少的參數(shù)量。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2817

@paperweekly 推薦

#Dialog System

本文是微信 AI 團(tuán)隊(duì)和上海交大發(fā)表于 AAAI 2019 的工作，論文關(guān)注的任務(wù)是基于背景知識(shí)的對(duì)話生成，通過指針生成機(jī)制和注意力機(jī)制，基于對(duì)話歷史和背景知識(shí)生成更有意義的回復(fù)。作者提出了一個(gè)泛化的指針生成機(jī)制，能同時(shí)從對(duì)話歷史和外部知識(shí)中復(fù)制實(shí)體。此外，作者還提出了一種 Cluster-based Beam Search 算法，能在解碼時(shí)動(dòng)態(tài)地將相似語義的序列分組歸類，避免生成通用回復(fù)。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2845

@VanceChen 推薦

#Multimodal Sentiment Analysis

本文是 CMU 的 MultiComp Lab 發(fā)表在 AAAI 2019 上的工作。多模態(tài)情感分析是 NLP 的一個(gè)新的核心研究領(lǐng)域，研究從語言、視覺和聲學(xué)模態(tài)表達(dá)的說話人情緒。多模式學(xué)習(xí)的核心挑戰(zhàn)涉及可以處理和關(guān)聯(lián)這些模態(tài)信息的推斷聯(lián)合表示。然而，現(xiàn)有工作通過要求所有模態(tài)作為輸入來學(xué)習(xí)聯(lián)合表示，因此，學(xué)習(xí)的表示可能對(duì)測試時(shí)的噪聲或丟失模態(tài)敏感。

隨著機(jī)器翻譯中 Seq2Seq 模型的成功，有機(jī)會(huì)探索在測試時(shí)可能不需要所有輸入模態(tài)的聯(lián)合表示的新方法。論文提出了一種通過在模態(tài)之間進(jìn)行轉(zhuǎn)換來學(xué)習(xí)魯棒聯(lián)合表示的方法。論文的方法基于 Key Insight，即從源到目標(biāo)模態(tài)的轉(zhuǎn)換提供了僅使用源模態(tài)作為輸入來學(xué)習(xí)聯(lián)合表示的方法。

論文使用周期一致性損失來增加模態(tài)轉(zhuǎn)換，以確保聯(lián)合表示保留所有模態(tài)的最大信息。一旦翻譯模型使用配對(duì)的多模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，我們只需要在測試時(shí)從源模態(tài)獲得最終情緒預(yù)測的數(shù)據(jù)。這確保了我們的模型在其他模態(tài)中不受擾動(dòng)或缺失信息的影響。

我們使用耦合的翻譯預(yù)測目標(biāo)訓(xùn)練我們的模型，并在多模態(tài)情緒分析數(shù)據(jù)集上實(shí)現(xiàn)新的最新結(jié)果：CMU-MOSI，ICT-MMMO 和 YouTube。 另外的實(shí)驗(yàn)表明，我們的模型學(xué)習(xí)越來越多的判別性聯(lián)合表示，具有更多的輸入模態(tài)，同時(shí)保持對(duì)丟失或擾動(dòng)模態(tài)的魯棒性。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2789

源碼鏈接

https://github.com/hainow/MCTN

@paperweekly 推薦

#Object Detection

本文來自中國科學(xué)院大學(xué)和圖森未來。檢測任務(wù)中存在目標(biāo)尺寸多樣化的問題，為了解決這一問題，涌現(xiàn)了很多包含 SSD、FPN、SNIP 等在內(nèi)的經(jīng)典算法。基于感受野對(duì)不同尺度目標(biāo)的檢測影響，作者提出了一個(gè)全新的三叉戟網(wǎng)絡(luò)（TridentNet）。

為了使模型對(duì)不同尺寸目標(biāo)的“表達(dá)能力”近似，作者借鑒了 SNIP 的特征提取網(wǎng)絡(luò)，采用了“scale-aware”的并行結(jié)構(gòu)。為了加快模型的推理速度，作者采用了 dilated convolution 得到不同感受野的特征圖，從而實(shí)現(xiàn)檢測不同尺度目標(biāo)的目的，取代了 SNIP 中的特征金字塔生成不同尺度目標(biāo)的做法。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2833

@paperweekly 推薦

#Human Pose Estimation

本文來自曠視科技，奪得 COCO Keypoints 2018 比賽冠軍。本文旨在設(shè)計(jì)出一個(gè)好的 multi-stage 的人體姿態(tài)檢測方法，隨著網(wǎng)絡(luò) stage 數(shù)目增加，模型的預(yù)測能力能夠逐步提高的網(wǎng)絡(luò)。而不會(huì)像 Hourglass 及其它網(wǎng)絡(luò)一樣，增加 stage 數(shù)目并不會(huì)顯著提高模型的預(yù)測能力。作者采用了 top-down 的解決思路，將重心放在對(duì)單人關(guān)節(jié)點(diǎn)的檢測上。針對(duì) multi-stage 算法存在的問題，作者分別進(jìn)行了不同的探索。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2834

@Phil 推薦

#Object Detection

本文來自香港中文大學(xué)、商湯科技、Amazon 和南洋理工，論文提出了一種新的 anchor 生成方法——Guided Anchoring，即通過圖像特征來指導(dǎo) anchor 的生成。 通過預(yù)測 anchor 的位置和形狀，來生成稀疏而且形狀任意的 anchor，并且設(shè)計(jì)了 Feature Adaption 模塊來修正特征圖，使之與 anchor 形狀更加匹配。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2806

@afei 推薦

#Image Segmentation

本文提出了一種新的分割網(wǎng)絡(luò)——BOWDA Net。基于此網(wǎng)絡(luò)，作者在 MICCAI 2012 前列腺分割競賽中排行第一，結(jié)果為 state of the art。創(chuàng)新點(diǎn)有兩點(diǎn)：1）針對(duì)前列腺 MR 圖像邊界不清晰的問題，提出了邊界加權(quán)分割 loss，平滑了邊界；2）針對(duì)數(shù)據(jù)集小的問題，作者借鑒了遷移學(xué)習(xí)以及 GAN 的思想，解決了 source domain 和 target domain shift 的問題，值得閱讀。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2851

@paperweekly 推薦

#Image Inpainting

本文來自安大略理工大學(xué)，論文提出了一種全新圖像修復(fù)方法，能重構(gòu)出圖像的精細(xì)細(xì)節(jié)。具體而言，作者提出了一種兩階段的對(duì)抗模型 EdgeConnect，該模型由一個(gè)邊生成器和一個(gè)圖像補(bǔ)全網(wǎng)絡(luò)組成。邊生成器將圖像確實(shí)區(qū)域的邊生成，而后圖像補(bǔ)全網(wǎng)絡(luò)以邊為先驗(yàn)填補(bǔ)圖像。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2832

源碼鏈接

https://github.com/knazeri/edge-connect

@JasonZHM 推薦

#Image Compression

利用卷積自編碼器進(jìn)行圖像壓縮需要同時(shí)優(yōu)化壓縮率和重構(gòu)圖像質(zhì)量，但由于用于表征壓縮率的編碼比特率不可微，因此不能直接反向傳播。現(xiàn)有研究普遍采用額外訓(xùn)練熵估計(jì)器的方法解決這個(gè)問題。

該研究則引入了來自神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索領(lǐng)域的網(wǎng)絡(luò)剪枝方法，提出了 CAE-ADMM 模型，直接對(duì)壓縮后的編碼進(jìn)行剪枝，在保持編碼速度的情況下，SSIM 及 MS-SSIM 的表現(xiàn)均超越了使用熵估計(jì)器的現(xiàn)有模型和傳統(tǒng)編碼器（JPEG、JPEG 2000 等）。該研究同時(shí)對(duì)引入的剪枝方法在模型中的效果進(jìn)行了檢驗(yàn)。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2803

源碼鏈接

https://github.com/JasonZHM/CAE-ADMM

@zhangjun 推薦

#Bayesian Deep Learning

DNN 的不確定性量化是當(dāng)前一大研究熱點(diǎn)，在小數(shù)據(jù)機(jī)器學(xué)習(xí)、自動(dòng)駕駛、強(qiáng)化學(xué)習(xí)、貝葉斯優(yōu)化、主動(dòng)學(xué)習(xí)等領(lǐng)域應(yīng)用廣泛。一種經(jīng)典的方法是將模型參數(shù)視為隨機(jī)變量，用近似推斷的方法（比如：MCMC 類和 VI 類）扎實(shí)地求出每個(gè)參數(shù)的后驗(yàn)分布，這種方法相對(duì)準(zhǔn)確，但計(jì)算效率較差，尤其對(duì)于參數(shù)數(shù)以億計(jì)的復(fù)雜結(jié)構(gòu)網(wǎng)絡(luò)更加困難；另一種方法是朝著實(shí)用方向的，訓(xùn)練還是基于傳統(tǒng)的 SGD + Dropout，在測試時(shí)對(duì)參數(shù)后驗(yàn)分布進(jìn)行近似，使得模型在預(yù)測時(shí)可考慮到不確定性的影響。

本文屬于第二種思路，基于一種叫做 Stochastic Weight Averaging （SWA）的方法，即將 T 個(gè) Epoch 中的參數(shù)作為統(tǒng)計(jì)數(shù)據(jù)，求平均作為參數(shù)后驗(yàn)分布的均值，方差作為分布的方差（僅考慮后驗(yàn)分布為高斯的情況，也是大多數(shù)方法的假設(shè)。）。思路比較簡單，相對(duì)傳統(tǒng)的貝葉斯推斷方法，計(jì)算效率非常高。這類方法中另一個(gè)典型代表是 Oxford 的 Yarin Gal 提出的 MC Dropout。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2815

源碼鏈接

https://github.com/wjmaddox/swa_gaussian

@paperweekly 推薦

#Recommender Systems

本文是明尼蘇達(dá)大學(xué)和京東發(fā)表于 WSDM 2018 的工作。當(dāng)前大多數(shù)推薦系統(tǒng)更注重用戶和商品之間的宏觀交互（如用戶-商品評(píng)分矩陣），很少有人會(huì)結(jié)合用戶的微觀行為數(shù)據(jù)（如瀏覽商品的時(shí)長、對(duì)商品的閱讀和評(píng)論）進(jìn)行推薦。

本文從微觀行為的角度對(duì)推薦系統(tǒng)進(jìn)行改進(jìn)，作者將用戶的固有數(shù)據(jù)視為用戶和商品之間的宏觀交互，并保留了宏觀交互的順序信息，同時(shí)，每個(gè)宏觀交互都包含一系列微觀行為。具體來說，論文提出了一個(gè)全新模型——RIB，它由輸入層、Embedding 層（解決數(shù)據(jù)稀疏和數(shù)據(jù)高維的問題）、RNN 層（建模時(shí)序信息）、Attention 層（捕捉各種微觀行為影響）和輸出層組成。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2549

@paperweekly 推薦

#Deformable Convolution

本文來自牛津大學(xué)，論文提出了一種分布偏移卷積 DSConv，可以輕松替換標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，并實(shí)現(xiàn)較低的存儲(chǔ)器使用和較高的計(jì)算速度。DSConv 將傳統(tǒng)的卷積內(nèi)核分解為兩個(gè)組件：可變量化內(nèi)核（VQK）和分布偏移。通過在 VQK 中僅存儲(chǔ)整數(shù)值來實(shí)現(xiàn)較低的存儲(chǔ)器使用和較高的速度，同時(shí)，通過應(yīng)用基于內(nèi)核和基于通道的分布偏移來保持與原始卷積相同的輸出。

作者在 ResNet50 和 34 以及 AlexNet 和 MobileNet 上對(duì) ImageNet 數(shù)據(jù)集測試了 DSConv。通過將浮點(diǎn)運(yùn)算替換為整數(shù)運(yùn)算，本文方法在卷積內(nèi)核中實(shí)現(xiàn)了高達(dá) 14x 的內(nèi)存使用量減少，并將運(yùn)算速度提高了 10 倍。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2835

@Rcypw?推薦

#Network Embedding

本文是 UIUC 和 HEC Montreal 發(fā)表于 WSDM 2018 的工作，論文開創(chuàng)性地將強(qiáng)化學(xué)習(xí)思想應(yīng)用到星型異構(gòu)網(wǎng)絡(luò)節(jié)點(diǎn)表示學(xué)習(xí)當(dāng)中 ，利用馬爾科夫鏈去獲取最優(yōu)的節(jié)點(diǎn)之間邊的序列。作者將獎(jiǎng)勵(lì)計(jì)算作為節(jié)點(diǎn)表示的外部任務(wù)的性能作為特征，目標(biāo)是采取一系列行動(dòng)來最大化累積獎(jiǎng)勵(lì)，基于長短記憶網(wǎng)絡(luò)利用深度強(qiáng)化學(xué)習(xí)模型，完成網(wǎng)絡(luò)表示學(xué)習(xí)。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2590

@Layumi?推薦

#Person Re-identification

現(xiàn)在行人重識(shí)別高準(zhǔn)確率模型真的魯棒么？是不是像傳統(tǒng)分類問題一樣容易被攻擊呢？本文提出的方法，將目前行人重識(shí)別上較高的 baseline Recall@1=88.56%, mAP=70.28% （layumi/Person_reID_baseline_pytorch） 降到 Recall@1=0.68%, mAP=0.72%。

對(duì)抗樣本存在于很多任務(wù)中，但如何在不同任務(wù)中構(gòu)造對(duì)抗樣本是一個(gè)問題。對(duì)于 reID 來說，攻擊的方式與正常的分類不同。因?yàn)?reID 在測試的時(shí)候的類別與訓(xùn)練時(shí)類別不同，沒有相同的類別（也就是測試的人和訓(xùn)練的人不是同一批，Open-set）。那么在構(gòu)造對(duì)抗樣本時(shí)，傳統(tǒng)的降低預(yù)測概率回傳梯度方法就受限。在實(shí)驗(yàn)中也有相應(yīng)結(jié)果。文章提出了一種新的方法來攻擊圖像檢索（reID 是圖像檢索的一個(gè)子問題）。

▲?論文模型：點(diǎn)擊查看大圖

論文鏈接

https://www.paperweekly.site/papers/2799

#推 薦 有 禮#

本期所有入選論文的推薦人

均將獲得PaperWeekly紀(jì)念周邊一份

▲?深度學(xué)習(xí)主題行李牌/卡套 + 防水貼紙

?禮物領(lǐng)取方式?

推薦人請(qǐng)根據(jù)論文詳情頁底部留言

添加小助手領(lǐng)取禮物

*每位用戶僅限領(lǐng)取一次

想要贏取以上周邊好禮？

點(diǎn)擊閱讀原文即刻推薦論文吧！

點(diǎn)擊以下標(biāo)題查看往期推薦：?

• ??5篇頂會(huì)論文帶你了解知識(shí)圖譜最新研究進(jìn)展

• ??NLP、CV、ML方向最新論文清單

• ??本周有哪些值得讀的論文？不如看看這18篇

• ??近期值得讀的10篇GAN進(jìn)展論文
  

• ??想了解推薦系統(tǒng)最新研究進(jìn)展？請(qǐng)收好這份清單

• ??近期知識(shí)圖譜頂會(huì)論文推薦，你都讀過哪幾篇？

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？?答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 獲取更多論文推薦

總結(jié)

以上是生活随笔為你收集整理的开学综合症有救了！17篇最新AI论文不容错过的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。