本文來自華為諾亞方舟實驗室資深專家劉曉華在攜程技術中心主辦的深度學習Meetup中的主題演講，介紹了華為諾亞面向語音語義的深度學習進展。

本次演講簡要回顧了深度學習近十年進展，重點介紹華為諾亞方舟實驗室最近兩年內和深度學習相關的研究成果，并探討了深度學習的未來趨勢。

深度學習的近十年進展

深度學習為什么現在這么火？大數據、算法突破和計算能力。算法上的突破有包括三點：第一點，對多層神經網絡做預訓練。第二點，大量標注數據驅動的監督學習和防過擬合技術的結合，例如dropout。第三點，注意力模型。

從應用角度來看，自2012年來，深度學習在語音、圖片、視頻識別以及自然語言處理等方面取得重大突破等。

• 語音識別：基于深度神經網絡的聲音模型替隱馬爾可夫框架下的基于混合高斯分布的升學模型，使語音識別取得了突破性進展。目前完全融合了聲學模型、語言模型和聲學詞典的基于深度學習的端到端的語音識別系統也開始出現，并有可能演進為下一代的語音識別系統。

• 圖像識別：2011年，基于深度卷積神經網絡的圖像識別系統在ImageNet數據集上取得極大成功，并開始有成功的商業化應用。

• 自然語言處理：自2014年始，深度學習在語法分析、機器翻譯、對話等領域都取得了一系列重要成果。

• 符號人工智能：深度學習開始進入知識表達和推理等傳統人工智能的領域，并取得了初步成功。

• 控制/強化學習：深度學習和強化學習結合催生了深度強化學習技術，該技術在控制領域，如游戲操作和機器人的控制的端到端學習（end-to-end learning），都有了令人矚目的成功。（揭秘深度強化學習）

諾亞語音語義方面深度學習相關研究

華為諾亞方舟實驗室在深度自然語言處理研究（deep learning for NLP）領域具有多年的積累。

• 深度語義匹配：對待匹配的兩個目標對象的各個方面的匹配關系用深度神經網絡進行建模。應用之一是基于自然語言的圖片搜索：采用文本和圖像深度匹配模型做手機上的圖像搜索。

• 自然語言對話：我們提出了第一個基于序列編碼-解碼算法的神經網絡的對話模型。它能夠理解你所說并產生合適的應答”。目前這一成果被業界廣泛引用。(基于大數據與深度學習的自然語言對話)

• 機器翻譯：傳統的基于統計的機器翻譯，是從大量的平行語料庫中學習大量的翻譯規則，然后基于翻譯規則來做翻譯。它的翻譯結果會比較忠實原文，但往往比較生硬。其特點可以用信而不達來概括。2014年基于基于編碼-解碼算法的端-到-端的翻譯系統被提出來了。它先會把源語言句子做語義編碼，相當于先理解原句，然后根據源端的語義編碼再生成目標句子。為了生成更好的目標句子，它會引入一個“注意力模型”，這個注意力模型會建議生成下一個目標翻譯詞時主要考慮源句端的哪些詞。我們最近做的一個有意思的工作是把“覆蓋率模型”這個傳統統計機器翻譯中常用的技術疊加到了”注意力模型”上，使得在生成下一個目標翻譯詞的時候，把關注重點能更多的放到那些還沒有充分翻譯的源句端的詞上，從而一定程度緩解過譯和漏譯問題。這一成果已經在今年國際計算語言學協會大會（ACL 2016）上發表了。（深度學習和自然語言處理中的attention和memory機制）

• 問答系統：我們的問答系統整體基于端到端的編碼解碼框架，但把知識庫也融合進來了，是業界第一個基于深度學習的基于自然語言的問答系統。在生成答案的下一個目標詞的時候，它會判斷是否把注意力放到知識庫，以及知識庫中哪個條目，并從中選出答案作為下一個目標詞。

• 基于自然語言的推理：這一塊相關研究我們剛剛起步，我們當前的方法也非常“樸素”。我們目前研究的聚焦在下面的場景：給定若干個事實，以及問題，輸出答案。限定答案是某個分類標簽，我們把這個任務轉化為一個分類問題。

相關鏈接：深度學習的最新進展及諾亞方舟實驗室的研究

深度學習的未來趨勢

深度學習還能有哪些突破？從解決實際問題的角度，我們從這三個方面去思考：

自然語言處理，人看起來簡單自然的符號，能否與傳統人工智能融合。

能否將舉一反三的能力融入到深度學習中？

無監督學習是否能有所突破。

結合我們多年的研究和業界實踐的經驗，目前我們的關注點如下：

• 更加靈活的表示方式。代表性的工作包括神經圖靈機（Neural Turing Machine）、記憶網絡（memory network）以及諾亞最近的Neural Transformation Machine和Neural Reasoner。

• 更加復雜的端到端學習系統。不再拘泥于一個簡單的模型，而是多個不同功能的神經網絡耦合而成的系統，這個系統可以和現實世界完成對接和交互,能夠接受延遲的和曲折的監督信號（和增強學習的結合），是“可微的”，或者至少是可以被優化的（譬如基于抽樣的優化）。

• 和傳統人工智能的融合。試圖去解決傳統符號人工智能任務，推理、知識表達等，可以將符號人工智能的強大的邏輯能力和神經網絡的靈活性結合。

• 和知識庫的結合。在對話等需要真實世界知識的場景，我們需要建立一個可以高效動態的訪問知識庫的神經網絡系統。大量需要解決的問題：知識庫的表示問題，訪問的方式和效率問題，End-to-end 訓練的問題，和神經網絡內部的“知識”的融合問題。

• 受教式人工智能：數據+知識驅動的深度學習。面向特定場景，接受教育，自我成長，個性化的系統。（華為研究的暢想: Educated AI (EAI)]）

演講PPT下載：

• 諾亞面向語音語義的深度學習研究進展

攜程技術中心深度學習Meetup系列：

• 用戶在線廣告點擊行為預測的深度學習模型
• 深度學習在攜程攻略社區的應用
• 深度學習在搜狗無線搜索廣告中的應用
• 知識圖譜中的推理技術及其在高考機器人中的應用

本文由攜程技術中心（微信公號：ctriptech）童蘭利整理，并經過演講者本人確認和授權發布。
責編：周建丁（zhoujd@csdn.net）

總結

以上是生活随笔為你收集整理的诺亚面向语音语义的深度学习研究进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。