机器阅读理解 / 知识库 / 深度学习 / 对话系统 / 神经机器翻译 | 本周值得读
在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背后的探索和思考。
在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。
這是 PaperDaily 的第?53?篇文章@RefluxNing 推薦
#Machine Reading Comprehension
本文是 CMU 和 Google Brain 發表于 ICLR 2018 的文章,論文改變了以往機器閱讀理解均使用 RNN 進行建模的習慣,使用卷積神經網絡結合自注意力機制,完成機器閱讀理解任務。
其中作者假設,卷積神經網絡可建模局部結構信息,而自注意力機制可建模全文互動(Interaction)關系,這兩點就足以完成機器閱讀理解任務。
@xcwill 推薦
#Dialog Systems
本文來自劍橋大學和 PolyAI,論文提出了一種新的強化學習方法來解決對話策略的優化問題。
Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN
@Zsank 推薦
#Recurrent Neural Networks
本文使用 ReLU 等非飽和激活函數使網絡變得更具有魯棒性,可以處理很長的序列(超過 5000 個時間步),可以構建很深的網絡(實驗中用了 21 層)。在各種任務中取得了比 LSTM 更好的效果。
Joint Training for Neural Machine Translation Models with Monolingual Data@paperweekly 推薦
#Neural Machine Translation
本文提出的方法可以認為是從源語言到目標語言翻譯的學習與從目標語言到源語言翻譯的學習的結合。中英翻譯和英中翻譯都使用初始并行數據來訓練,在每次訓練的迭代過程中,中英翻譯系統將中文句子翻譯成英文句子,從而獲得新的句對,而該句對又可以反過來補充到英中翻譯系統的數據集中。
同理,這個過程也可以反向進行。這樣雙向融合不僅使得兩個系統的訓練數據集大大增加,而且準確率也大幅提高。
@Zsank 推薦
#Question Answering
社區問答有一個很主要的挑戰就是句子間詞匯與語義的鴻溝。本文使用了 phrase-level 和 token-level 兩個層次的 attention 來對句子中的詞賦予不同的權重,并參照 CNTN 模型用神經張量網絡計算句子相似度的基礎上,引入額外特征形成 3-way 交互張量相似度計算。
圍繞答案選擇、最佳答案選擇、答案觸發三個任務,論文提出的模型 RTM 取得了多個 state-of-art 效果。
Biased Importance Sampling for Deep Neural Network Training@chlr1995 推薦
#Importance Sampling
Importance Sampling 在凸問題的隨機優化上已經得到了成功的應用。但是在 DNN 上的優化方面結合 Importance Sampling?存在困難,主要是缺乏有效的度量importance 的指標。?
本文提出了一個基于 loss 的 importance 度量指標,并且提出了一種利用小型模型的 loss 近似方法,避免了深度模型的大規模計算。經實驗表明,結合了 Importance Sampling?的訓練在速度上有很大的提高。
Question Answering on Knowledge Bases and Text using Universal Schema and Memory Networks@guotong1988 推薦
#Knowledge Base
傳統 QA 問題的解決方法是從知識庫或者生文本中推測答案,本文將通用模式擴展到自然語言 QA 的應用當中,采用記憶網絡來關注文本和 KB 相結合的大量事實。
@paperweekly 推薦
#Sequence Labeling
編碼器 - 解碼器框架在許多任務中取得了可喜的進展,包括機器翻譯、文本摘要、QA、對話系統、圖像標記等,但它還沒有涉及審議。
審議是人們日常生活中的一種常見行為,如閱讀新聞、撰寫論文/文章/書籍,在本文中,團隊將審議過程引入到編碼器 - 解碼器框架中,并提出用審議網絡進行序列生成。
本文由 AI 學術社區 PaperWeekly 精選推薦,社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向,點擊「閱讀原文」即刻加入社區!
點擊以下標題查看往期推薦:?
選對論文,效率提升50% | 本周值得讀
Github 最新 AI 開源項目了解一下?
春節期間,你錯過了這些開源論文
用好這幾款煉丹利器,調參從此得心應手
春節囤貨清單 | 15篇近期值得讀的AI論文
#榜 單 公 布?#
2017年度最值得讀的AI論文 | NLP篇 · 評選結果公布
2017年度最值得讀的AI論文 | CV篇 · 評選結果公布
我是彩蛋?
?解鎖新功能:熱門職位推薦!
PaperWeekly小程序升級啦
今日arXiv√猜你喜歡√熱門職位√
找全職找實習都不是問題
?
?解鎖方式?
1. 識別下方二維碼打開小程序
2. 用PaperWeekly社區賬號進行登陸
3. 登陸后即可解鎖所有功能
?職位發布?
請添加小助手微信(pwbot02)進行咨詢
?
長按識別二維碼,使用小程序
*點擊閱讀原文即可注冊
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 加入社區一起刷論文
總結
以上是生活随笔為你收集整理的机器阅读理解 / 知识库 / 深度学习 / 对话系统 / 神经机器翻译 | 本周值得读的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: PTAV:实时高精度目标追踪框架 | I
- 下一篇: 让你的文字被很多很多人看到,喜欢我们不如