本周值得读的15篇AI论文，还有源码搭配服用
在碎片化閱讀充斥眼球的時(shí)代，越來(lái)越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。
在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。
點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。
這是 PaperDaily 的第 131?篇文章@jingyihiter 推薦
#Neural Sequence Generation
本文是自動(dòng)化所張家俊老師發(fā)表于 TACL 2019 的工作，論文研究的問(wèn)題是在序列生成任務(wù)的解碼過(guò)程中如何進(jìn)行雙向解碼。文章提出一種新的 beam search 算法用于雙向解碼，提出了改進(jìn) transformer 進(jìn)行雙向解碼的 BIFT model，在機(jī)器翻譯和文本摘要任務(wù)上都取得明顯的提升。文中分別給出了詳細(xì)的實(shí)驗(yàn)，并附有開源實(shí)現(xiàn)代碼。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2867
源碼鏈接
https://github.com/ZNLP/sb-nmt
@paperweekly 推薦
#Abstractive Summarization
本文來(lái)自 NAACL-HLT 2019，論文提出了一個(gè)名為多級(jí)存儲(chǔ)網(wǎng)絡(luò)（MMN）的生成式摘要模型，直接用多級(jí)卷積存儲(chǔ)器代替基于 RNN 的編碼器。該模型利用卷積來(lái)控制多級(jí)句子，段落和整個(gè)文本中的表示程度。
此外，本文還貢獻(xiàn)了一個(gè)大型抽象摘要數(shù)據(jù)集—Reddit TIFU，包含來(lái)自 Reddit 的 120K 個(gè)帖子。基于 AMT 的定量評(píng)估和用戶研究，本文模型在 Reddit TIFU 和新聞?lì)惿墒秸獢?shù)據(jù)集上均優(yōu)于當(dāng)前最先進(jìn)的抽象概括方法。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2901
源碼鏈接
https://github.com/ctr4si/MMN
@stevewyl 推薦
#Natural Language Understanding
本文來(lái)自微軟，論文提出將多任務(wù)學(xué)習(xí)（MTL）和語(yǔ)言模型進(jìn)行結(jié)合，提升了 NLU 領(lǐng)域的 GLUE 榜單 1.8%。本文是基于多任務(wù)學(xué)習(xí)框架和特征共享層硬連接的方式實(shí)現(xiàn)的，將原有 MT-DNN 模型中的特征表示層，替換為目前大熱的 BERT。與 BERT 不同的是，微調(diào)是在多個(gè)任務(wù)上同時(shí)進(jìn)行的。
本文是在 BERT 的基礎(chǔ)上比較成功的一次探索，后續(xù)可以考慮任務(wù)之間的相關(guān)性。BERT 和 MTL 的結(jié)合可能是接下來(lái)的一個(gè)研究熱點(diǎn)。 不足之處是沒(méi)有重大創(chuàng)新，MTL 的使用比較簡(jiǎn)單，有提升空間。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2809
源碼鏈接
https://github.com/namisan/mt-dnn
@Hutommy 推薦
#Dialogue Systems
本文是波恩大學(xué)和波鴻魯爾大學(xué)發(fā)表于 CoNLL 2018 的工作，論文基本說(shuō)明了對(duì)話系統(tǒng)的類別，而且介紹了 RNN，BiRNN 以及 GRU 的思想。此外，本文結(jié)合了外部知識(shí)增加了一種機(jī)制，提高處理較低頻的字詞的能力。同時(shí)結(jié)合了領(lǐng)域關(guān)鍵字描述編碼，在多回合對(duì)話中有所幫助。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2838
源碼鏈接
https://github.com/SmartDataAnalytics/AK-DE-biGRU
@chunhualiu?推薦
#Story Ending Generation
本文是清華大學(xué)黃民烈老師組發(fā)表于 AAAI 2019 的工作，論文提供了一種如何利用常識(shí)知識(shí)做故事結(jié)尾生成的新思路。作者提出利用增量編碼的方式來(lái)對(duì) RocStories 數(shù)據(jù)集中的 context 進(jìn)行編碼，并且將從 ConceptNet 中檢索得到的知識(shí)進(jìn)行編碼，利用 multi-source attention 的方式融合到 context 的編碼過(guò)程中。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2775
源碼鏈接
https://github.com/JianGuanTHU/StoryEndGen
@paperweekly 推薦
#Named Entity Recognition
本文是曼徹斯特大學(xué)和豐田工業(yè)大學(xué)發(fā)表于 NAACL 2018 的工作，論文提出了一種由 flat NER layers 動(dòng)態(tài)連續(xù)堆疊而成的神經(jīng)網(wǎng)絡(luò)模型，每個(gè) flat NER layer 含有一個(gè) BiLSTM 和 CRF 分別進(jìn)行輸入編碼和標(biāo)簽預(yù)測(cè)，整體模型為 Layered-BiLSTM-CRF。
當(dāng)前 flat layer 將已被識(shí)別為實(shí)體的 token 經(jīng)過(guò) LSTM 處理的新表示合并起來(lái)，傳遞給下一個(gè) flat layer，從而使得模型能以從內(nèi)到外的方式，充分利用內(nèi)部實(shí)體編碼信息識(shí)別出外部實(shí)體，直到?jīng)]有更外部的實(shí)體被識(shí)別出來(lái)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2696
源碼鏈接
https://github.com/meizhiju/layered-bilstm-crf
@xiaolu 推薦
#Visual Question Answering
本文是一篇來(lái)自港中文、清華大學(xué)等機(jī)構(gòu)的最新 VQA 論文，被 CVPR 2019 接收為口頭報(bào)告。Github 上已經(jīng)有人復(fù)現(xiàn)了該工作。
學(xué)習(xí)多模態(tài)之間的高效特征融合是視覺(jué)問(wèn)答問(wèn)題的核心，本文提出了一種動(dòng)態(tài)融合多模態(tài)特征的新方法，通過(guò)模態(tài)內(nèi)（intra-modality ）和模態(tài)間（inter-modality）的信息流，交替地在視覺(jué)和語(yǔ)言模態(tài)之間傳遞動(dòng)態(tài)信息。它可以穩(wěn)健地捕獲語(yǔ)言和視覺(jué)域之間的高層次語(yǔ)義交互，從而顯著提高視覺(jué)問(wèn)答的性能。?
本文還發(fā)現(xiàn)，基于其它模態(tài)的約束，一種模態(tài)內(nèi)的注意力可以動(dòng)態(tài)調(diào)節(jié)目標(biāo)模態(tài)的注意力。本文模型在 VQA2.0 數(shù)據(jù)集上實(shí)現(xiàn)了當(dāng)前最好的效果。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2859
源碼鏈接
https://github.com/bupt-cist/DFAF-for-VQA.pytorch
@vimjian 推薦
#6D Object Pose Estimation
本文是斯坦福和上海交大發(fā)表于 CVPR 2019 的工作，論文提出了一種可單獨(dú)處理兩個(gè)數(shù)據(jù)源的異質(zhì)架構(gòu)—DenseFusion。實(shí)驗(yàn)表明，DenseFusion 在 YCB-Video 和 LineMOD 兩個(gè)數(shù)據(jù)集上的表現(xiàn)都優(yōu)于當(dāng)前最先進(jìn)的方法。此外，研究者還將該方法應(yīng)用于真實(shí)的機(jī)器人上，使其可以根據(jù)估計(jì)的姿態(tài)來(lái)抓取和操縱目標(biāo)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2862
源碼鏈接
https://github.com/j96w/DenseFusion
@Flawless1202 推薦
#Object Detection
本文是中山大學(xué)和華為諾亞方舟實(shí)驗(yàn)室發(fā)表于 NeurIPS 2018 的工作，論文提出了大尺度目標(biāo)檢測(cè)的新思路，通過(guò)顯性知識(shí)和隱性知識(shí)模塊，將先驗(yàn)信息融合到神經(jīng)網(wǎng)絡(luò)中以豐富特征，取得了 SOTA 的效果。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2820
源碼鏈接
https://github.com/chanyn/HKRM
@paperweekly 推薦
#Pose Transfer
本文來(lái)自特倫托大學(xué)和Snap，論文研究的問(wèn)題是將視頻中的物體動(dòng)作遷移到一張圖片上，然后基于這張圖片和指定動(dòng)作生成一個(gè)新視頻。
作者通過(guò)一個(gè)深度框架夠?qū)⑼庑魏瓦\(yùn)動(dòng)信息解耦，該框架由三個(gè)模塊組成：1）關(guān)鍵點(diǎn)檢測(cè)器，可以無(wú)監(jiān)督訓(xùn)練提取對(duì)象關(guān)鍵點(diǎn)；2）深度運(yùn)動(dòng)預(yù)測(cè)網(wǎng)絡(luò)，可從稀疏關(guān)鍵點(diǎn)生成密集的熱圖（heatmaps），從而更好地編碼運(yùn)動(dòng)信息；3）運(yùn)動(dòng)遷移網(wǎng)絡(luò)，該網(wǎng)絡(luò)基于運(yùn)動(dòng)熱圖和從輸入圖像提取的外形信息去合成輸出幀。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2836
源碼鏈接
https://github.com/AliaksandrSiarohin/monkey-net
@BelieveOP5 推薦
#Image Generation
本文是 Google AI 發(fā)表于 PMLR 2018 的工作，論文將圖像超分辨和 Self-Attention 機(jī)制結(jié)合起來(lái)，提出了一種將 Self-Attention 機(jī)制應(yīng)用在圖像生成領(lǐng)域上的新方法，值得一看。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2842
源碼鏈接
https://github.com/tensorflow/tensor2tensor
@alichen 推薦
#Robotics
本文是普渡大學(xué)發(fā)表于 ICRA 2019 的工作。這篇文章提出了 Flapping Wing Micro Air Vehicles (FWMAVs) 開源仿真平臺(tái)，并比較了仿真和實(shí)驗(yàn)測(cè)得的 force map，開環(huán)控制響應(yīng)及閉環(huán)控制響應(yīng)，發(fā)現(xiàn)仿真結(jié)果和實(shí)驗(yàn)結(jié)果非常相近。
和其他機(jī)器人仿真相比（例如 legged robots, ground vehicles），FWMAVs 仿真需要考慮在高頻的 flapping motion 下，周圍空氣動(dòng)力學(xué)的不穩(wěn)定性，對(duì)系統(tǒng)進(jìn)行建模難度更大。這個(gè)平臺(tái)可用于機(jī)器人設(shè)計(jì)、控制與優(yōu)化的研究，并與和 OpenAI Gym 環(huán)境完全兼容，利于今后強(qiáng)化學(xué)習(xí)和飛行控制相結(jié)合的研究。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2860
源碼鏈接
https://github.com/purdue-biorobotics/flappy
@paperweekly 推薦
#Collaborative Filtering
本文是 Netflix、MIT 和 Google AI 發(fā)表于 WWW 2018 的工作，論文將變分自編碼器（VAE）擴(kuò)展到協(xié)同過(guò)濾以進(jìn)行隱式反饋，通過(guò)非線性概率模型克服線性因子模型的局限。其次，作者引入了具有多項(xiàng)式似然（multinomial likelihood）的生成模型，并使用貝葉斯推斷進(jìn)行參數(shù)估計(jì)。
作者基于 VAE 提出了一個(gè)生成模型 VAE_CF，并針對(duì) VAE 的正則參數(shù)和概率模型選取做了適當(dāng)調(diào)整，使其在當(dāng)前推薦任務(wù)中取得最佳結(jié)果。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2606
源碼鏈接
https://github.com/dawenl/vae_cf
@zhangjun 推薦
#Bayesian Neural Network
本文是 UCLA 和 UC Davis 發(fā)表于 ICLR 2019 的工作，論文提出了一種新的對(duì)抗防御方法，結(jié)合了貝葉斯神經(jīng)網(wǎng)絡(luò)（BNN）和對(duì)抗訓(xùn)練的優(yōu)勢(shì)，獲得了不錯(cuò)的效果。其中，BNN 將每個(gè)權(quán)重參數(shù)視作一個(gè)隨機(jī)變量，在預(yù)測(cè)時(shí)相當(dāng)于一個(gè)無(wú)限個(gè)數(shù)的集成模型，實(shí)驗(yàn)證明只依靠 BNN 并不能做好防御，結(jié)合對(duì)抗訓(xùn)練才會(huì)提升模型的防御能力。
點(diǎn)評(píng)：本文沒(méi)有提出原創(chuàng)的方法，而是結(jié)合兩種現(xiàn)有的方法進(jìn)行了組合測(cè)試，取得了不錯(cuò)的效果。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2758
源碼鏈接
https://github.com/xuanqing94/BayesianDefense
@RememberMe 推薦
#Financial Time Series
本文提出了一種確定股票價(jià)格時(shí)間序列中最佳 buy, sell, hold 時(shí)間點(diǎn)的股票交易模型，作者結(jié)合了兩種已有方法 GA+DMLP (Genetic Algorithm and Deep Multi Layer Perceptron)。
具體思路：已有 1）技術(shù)分析指標(biāo)（technical analysis indicator）作為深度網(wǎng)絡(luò)模型的輸入特征來(lái)做時(shí)間序列預(yù)測(cè)；2）用于技術(shù)分析指標(biāo)尋優(yōu)的進(jìn)化算法。本文結(jié)合二者，將進(jìn)化算法優(yōu)化后的技術(shù)分析指標(biāo)作為深度網(wǎng)絡(luò)的輸入特征，從而嘗試使深度網(wǎng)絡(luò)從進(jìn)化算法的優(yōu)化中學(xué)習(xí)判斷最佳的進(jìn)出點(diǎn)。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2889
源碼鏈接
https://github.com/omerbsezer/SparkDeepMlpGADow30
@chlr1995?推薦
#Network Pruning
本文是圖森發(fā)表在 ECCV 2018 的工作，論文在結(jié)構(gòu)稀疏化的基礎(chǔ)上提出了一種更簡(jiǎn)潔的方式，達(dá)到粗粒度的剪枝（直接剪枝整個(gè) residual function/aggregated residual block 中的一個(gè) group），通過(guò)引入一個(gè)結(jié)構(gòu)縮放因子 lambda，在訓(xùn)練過(guò)程中對(duì) lambda 施加一個(gè) L1 正則化，訓(xùn)練結(jié)束后，剪掉 lambda=0 的塊或 group，達(dá)成網(wǎng)絡(luò)剪枝的效果。
▲?論文模型：點(diǎn)擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2540
源碼鏈接
https://github.com/huangzehao/sparse-structure-selection
#推 薦 有 禮#
本期所有入選論文的推薦人
均將獲得PaperWeekly紀(jì)念周邊一份
▲?深度學(xué)習(xí)主題行李牌/卡套 + 防水貼紙
?禮物領(lǐng)取方式?
推薦人請(qǐng)根據(jù)論文詳情頁(yè)底部留言
添加小助手領(lǐng)取禮物
*每位用戶僅限領(lǐng)取一次
想要贏取以上周邊好禮？
點(diǎn)擊閱讀原文即刻推薦論文吧！
點(diǎn)擊以下標(biāo)題查看往期推薦：?
??開學(xué)綜合癥有救了！17篇最新AI論文不容錯(cuò)過(guò)
??NLP、CV、ML方向最新論文清單
??本周有哪些值得讀的論文？不如看看這18篇
??近期值得讀的10篇GAN進(jìn)展論文
??近期必讀的12篇「推薦系統(tǒng)」相關(guān)論文
??近期知識(shí)圖譜頂會(huì)論文推薦，你都讀過(guò)哪幾篇？
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？?答案就是：你不認(rèn)識(shí)的人。
總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。
??來(lái)稿標(biāo)準(zhǔn)：
? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?
? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志
? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?
? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通
?
現(xiàn)在，在「知乎」也能找到我們了
進(jìn)入知乎首頁(yè)搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點(diǎn)擊 |?閱讀原文?| 獲取更多論文推薦
總結(jié)
以上是生活随笔為你收集整理的本周值得读的15篇AI论文，还有源码搭配服用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： CVPR 2019 | 无监督领域特定单
- 下一篇： CVPR2019接收结果公布了，但CVP