NLP前路何在？Bengio等27位NLP顶级研究者有话说
機器之心整理
作者：Sebastian Ruder
機器之心編輯部
Deep Learning Indaba 2018 是由 DeepMind 主辦的深度學習峰會，于今年 9 月份在南非斯泰倫博斯舉行。在此次大會上，AYLIEN 研究科學家 Sebastian Ruder、DeepMind 高級研究科學家 Stephan Gouws 和斯泰倫博斯大學講師 Herman Kamper 采訪了 20 多名 NLP 領域的研究者，包括 Yoshua Bengio、阿蘭?圖靈研究所 Fellow Annie Louis 等，試圖就 NLP 的研究現(xiàn)狀、當前困境和未來走向等問題給出解答。
Sebastian Ruder 近日公布了這次采訪的談話實錄，以及大會演講的 PPT，對整個采訪進行了總結。
采訪實錄：https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit#heading=h.brxm2juq8i2
演講 PPT：https://drive.google.com/file/d/15ehMIJ7wY9A7RSmyJPNmrBMuC7se0PMP/view
這些采訪基于四個相同的問題，如下所示。機器之心摘錄了部分受訪者的回答內容，包括 Yoshua Bengio、阿蘭?圖靈研究所 Fellow Annie Louis、谷歌大腦研究科學家 George Dahl、紐約大學助理教授&FAIR 研究科學家 Kyunghyun Cho，其中有些研究者并沒有回答完四個問題，這是基于受訪者自身的意愿。
您能否列舉目前困擾 NLP 領域的三大難題？
如果必須選擇一個，您認為過去十年 NLP 領域最有影響力的研究是什么？
您覺得有沒有什么把 NLP 領域帶向了錯誤的方向？
您對剛啟動項目的 NLP 研究生有什么建議嗎？
Annie Louis（愛丁堡大學/圖靈研究院 Fellow）
1. 您能否列舉目前困擾 NLP 領域的三大難題？
1）域適應：我們某種程度上假設不同領域的語言有明顯的不同，因為我們的模型無法很好地遷移。而人類可以閱讀大部分領域的內容。那么人們抽象了什么，或者忽略了什么，遷移了什么知識？如何讓系統(tǒng)在多個領域中良好地運轉？
2）文本及對話生成：基于神經(jīng)網(wǎng)絡的方法對于這些系統(tǒng)的端到端訓練非常有用，這些系統(tǒng)目前在易出錯的流程中包含了太多的組件。但盡管現(xiàn)在的輸出流暢性很好，但內容往往非常古怪：輸出很容易出現(xiàn)曲解、重復、不完整等現(xiàn)象。我們以前遇到過相反的問題：內容很好，但流暢性差。
3）利用有限的數(shù)據(jù)進行學習：突然之間，NLP 的數(shù)據(jù)集都開始變得非常大。系統(tǒng)非常渴望數(shù)據(jù)。這些大型數(shù)據(jù)集的問題在于，它們通常是近似的，因為里面的數(shù)據(jù)是從網(wǎng)頁或其他渠道利用啟發(fā)式方法收集到的。例如，你得到的可能不是一份真正的摘要，而是為搜索引擎索引提供的網(wǎng)頁概要。這種數(shù)據(jù)無法反映語言上的復雜性及手工標注數(shù)據(jù)中包含的有趣現(xiàn)象。因此，有時候我們可能不是在解決有趣的問題，而僅僅是讓神經(jīng)類型的系統(tǒng)為任務而工作。這不是件壞事，但我們需要轉向更加有趣的事物。如果我們需要從 100 萬份示例中學習，那么有關復雜現(xiàn)象的數(shù)據(jù)仍然是一個問題。
2. 如果必須選擇一個，您認為過去十年 NLP 領域最有影響力的研究是什么？
這個問題不好回答。最近比較有影響力的研究應該是編碼器-解碼器框架中的序列到序列學習。這一概念已經(jīng)在 NLP 領域中廣泛應用。
3. 您覺得有沒有什么把 NLP 領域帶向了錯誤的方向？
我猜 NLP 領域的人應該也對計算語言學感興趣，想利用計算技術得到一些關于語言的科學理解。這個角度如今在 NLP 大會中有點小眾。我們在做大部分任務時也不再有語言學假設或基于任務的故事。模型通用性較強，普適的技巧也有一大堆，這些技巧不是為某個單獨的任務定制的。說實話，我認為語言不同于語音或視覺。在語音或視覺領域，輸入是信號或像素，我們并不知道如何利用它們計算特征。它們不是人類使用的自然形式。但語言不是這樣，饋入系統(tǒng)的輸入與人們在紙上讀到的內容形式相同，人們可以用同樣的形式教給另一個人。歸根結底，我們需要探索更好的方法，向模型中添加先驗知識，這樣才能取得大的進步。
4. 您對剛啟動項目的 NLP 研究生有什么建議嗎？
NLP 領域的研究人員需要深厚的專業(yè)知識，還需要跨學科閱讀，這點是毋庸置疑的。盡管對于學科的強調有所改變，但這點是不會變的。或許我們需要少讀點心理學，多讀點機器學習的內容。我建議大家盡早拓寬閱讀面。目標要遠大，不要專挑簡單的任務和方法。要致力于解決那些在語言、社會、經(jīng)濟領域舉足輕重的問題。
George Dahl（谷歌大腦）
1. 您能否列舉目前困擾 NLP 領域的三大難題？
首先，如何構建更好的基準來大規(guī)模揭露我們當前方法存在的局限性？MultiNLI 是還不錯的基準，但它仍有很多難以糾正的問題。
參考：https://arxiv.org/pdf/1803.02324.pdf
看看我們在流行基準上的準確率就能明白，我們對在構建自然語言讀寫系統(tǒng)方面取得的進步有些過于樂觀了。
我們需要新的評估數(shù)據(jù)集和任務來表明我們的技術是否對人類語言的可變性具備泛化性。我更希望基準測試低估而不是像現(xiàn)在這樣高估我們在自然語言方面取得的進步。
其次，我們如何將「方向盤」與文本生成模型連接在一起？我們如何創(chuàng)建能夠聽從高級指令（如生成什么）或遵循對生成內容的約束的模型？我希望模型能夠基于簡化或受限的自然語言指令（指令說明要做哪些高級改變）編輯一段文字。我們如何利用自然語言交互來操作語言形式（linguistic formalism）？我們如何構建交互式的「證明」（proof）協(xié)議，證明統(tǒng)計系統(tǒng)捕獲了一篇文章的所有重點？
最后，如何生成更多信息含量更大的訓練數(shù)據(jù)？我們能否創(chuàng)建可擴展到編輯或轉述等事情的語言游戲（編輯或轉述可以自然生成對比示例）？我們可以從人類標注者那里引出更多不同的語言例子嗎？我們能否構建詞袋模型完全無法處理的大規(guī)模訓練數(shù)據(jù)集？或者，我們可以找到更好的辦法來實現(xiàn)在無標注文本上的自監(jiān)督嗎？
2. 如果必須選擇一個，您認為過去十年 NLP 領域最有影響力的工作是什么？
神經(jīng)機器翻譯的成功及其持續(xù)發(fā)展。它仍然脆弱，犯了很多錯，但是 amazing！
3. 您覺得有沒有什么把 NLP 領域帶向了錯誤的方向？
過分依賴次優(yōu)基準。我們很多模型的性能只比強大的詞袋基線模型好一點點。我們的一些數(shù)據(jù)集構建得不太好或者極其有限（例如大部分 paraphrase 數(shù)據(jù)集）。
4. 您對剛啟動項目的 NLP 研究生有什么建議嗎？
學習如何精調模型，學習如何建立強大的基線模型，學習如何構建能經(jīng)受住特定假設考驗的基線。認真對待任何一篇論文，要不止一次地等待結論出現(xiàn)。很多情況下，你可以發(fā)表更加穩(wěn)固的研究，做出更加強大的基線。
Kyunghyun Cho（紐約大學&FAIR）
1. 您能否列舉目前困擾 NLP 領域的三大難題？
NLP/MT 領域最大的問題或許是下一次飛躍的時間和方向。NLP/MT 在過去半個世紀中經(jīng)歷了兩次巨變。第一次發(fā)生在 90 年代早中期，彼時統(tǒng)計學方法成為主導，推動 NLP 領域遠離基于規(guī)則的方法。第二次發(fā)生在 2012-2015 年，那時深度學習成為主流方法。每次飛躍不僅帶來實證方面的改進，還動搖了我們對 NLP 領域和待解決問題的既定理解。那么下一次飛躍將會是怎樣的呢？每個人都有自己的猜測，我認為下一次飛躍將由新的人／群體開啟，就像前兩次那樣。
2. 如果必須選擇一個，您認為過去十年 NLP 領域最有影響力的工作是什么？
很難選，不過我還是會選 Collobert & Weston (2008) 的研究《A unified architecture for natural language processing: deep neural networks with multitask learning》及其后續(xù)期刊論文《Natural Language Processing (Almost) from Scratch》。Collobert 和 Weston 在這些論文中提出并展示了基于神經(jīng)網(wǎng)絡的方法對 NLP 領域大量問題的有效性，這與當時其他人所做的研究都不相同。
3. 您覺得有沒有什么把 NLP 領域帶向了錯誤的方向？
我并不認為該領域曾走到錯誤的方向。我堅信，科學并不總是直線前進，而是通過帶指引的隨機游走加深理解。昨天看似錯誤的方向或許在今天或明天看來就是正確的。例如，2006 到 2012 年很多人（包括我自己在內）曾研究深度網(wǎng)絡逐層無監(jiān)督預訓練方法，當時該方法看起來是非常有前景的，但是現(xiàn)在大家不再追求這種方法了（至少不再積極探索了）。這是錯誤的方向嗎？我不這么認為，因為我們從那些年的研究中得到了很多（ReLU、攤銷推理等都是那個時代的遺產(chǎn)）。類似地，在 2014 和 2015 年有很多論文將 word2vec 方法應用于各種問題，現(xiàn)在大部分問題都被遺忘了，這是錯誤的方向嗎？興許不是。我們只是需要這個階段作為墊腳石。我認為更好的問題在于科學「有指引的隨機游走」，指引（guide）是什么？
4. 您對剛啟動項目的 NLP 研究生有什么建議嗎？
我認為科學研究總是充滿失敗。你的 100 個想法中 99 個都會失敗。如果每個想法都有效，那么要么是你太容易滿足，要么你在自我欺騙，也有可能你是天才。至于天才，每個世紀大概會出一個吧。因此，我的建議是：不要失望！
Yoshua Bengio（蒙特利爾大學）
1 您能否列舉目前困擾 NLP 領域的三大難題？
接地（氣）的語言學習，即聯(lián)合地學習世界模型以及將其和自然語言對應起來的方式。
在深度學習框架中融合語言理解和推理。
常識理解，這只能結合以上兩個問題來解決。
3 您覺得有沒有什么把 NLP 領域帶向了錯誤的方向？
貪婪。我們正在竭力追求短期成果和回報，因此我們將大量文本數(shù)據(jù)丟給深度神經(jīng)網(wǎng)絡，希望模型能完全自發(fā)地、智能地理解和生成語言，但如果我們沒有解決構建世界模型（即理解我們的世界如何運行的模型，其中建模了人類和智能體）這一更艱難的問題這行不通，無論我們設計了多少神經(jīng)架構技巧，上述愿景都無法實現(xiàn)。我們需要咬緊牙關，結合其它領域來一起解決 NLP 的問題，而不是以一種孤立的方式。
4 您對剛啟動項目的 NLP 研究生有什么建議嗎？
要有野心。不要將自己的閱讀范圍限制在 NLP 論文領域。要讀大量的機器學習、深度學習、強化學習論文。博士生涯是一個人實現(xiàn)遠大目標的絕佳時期，即使是實現(xiàn)了目標的一小步也會有很大的價值。
更多采訪內容請參見原文。我們再簡單介紹一下演講 PPT 的大致內容和結構，Sebastian Ruder 的演講聚焦于三個主題：
什么是 NLP？它在過去幾年中的主要發(fā)展有哪些？
目前困擾 NLP 領域的最大難題是什么？
了解當?shù)厣鐓^(qū)并開始考慮合作
對于第一個主題，Sebastian Ruder 展示了近年來 NLP 領域的重要研究進展，包括自然語言模型、多任務學習、詞嵌入等，如下圖所示：
Sebastian Ruder 對每個進展列出了具體的突破性論文：
對第二個主題，Sebastian Ruder 等人通過受訪研究者的談話來解答，以下為受訪人名單：
他們向多位研究者提出了上述提到的四個問題。
對于第一個問題，Sebastian Ruder 等人總結出研究者的回答涉及了以下層面：
自然語言理解
低資源場景下的 NLP
大規(guī)模或多文檔推理
數(shù)據(jù)集、問題及評估
對于第三個問題，每個研究者都有著不同的理解：
更詳細的演講內容，請參見原文。
本文為機器之心整理，轉載請聯(lián)系本公眾號獲得授權。
?------------------------------------------------
加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com
投稿或尋求報道：content@jiqizhixin.com
廣告 & 商務合作：bd@jiqizhixin.com
總結
以上是生活随笔為你收集整理的NLP前路何在？Bengio等27位NLP顶级研究者有话说的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 斯坦福2018 AI指数报告出炉：DL职
- 下一篇： 「欧洲AI联合实验室」ELLIS成立：誓