AI公開課：19.04.03周明—MSRA副院長《NLP的進步如何改變搜索的體驗》課堂筆記以及個人感悟

導讀
? ? ? ?周明博士，1999年加入微軟研究院(MSRA)。現任微軟亞洲研究院副院長。他現任國際計算語言學會（ACL）會長，中國計算機學會理事、中文信息技術專委會（即NLP專委會）主任、中國中文信息學會常務理事。他帶領團隊進行了微軟輸入法、英庫詞典（必應詞典）、中英翻譯、微軟中國文化系列（微軟對聯、微軟字謎、微軟絕句）等重要產品和項目的研發，并對微軟Office、必應搜索、Windows等產品中的自然語言技術做出了重要貢獻。近年來，周明博士領導研究團隊與微軟產品組合作開發了微軟小冰（中國）、Rinna（日本）、Zo（美國）等聊天機器人系統。
?? ? ??周明博士發表了120余篇重要會議和期刊論文（包括50篇以上的ACL文章），擁有國際發明專利40余項。他多年來通過微軟與中國和亞太地區的高校合作計劃，包括微軟-高校聯合實驗室、微軟實習生計劃、微軟-高校聯合培養博士生計劃、青年教師鑄星培養計劃，與高校和學術組織聯合舉辦暑期學校和學術會議等多種形式，對推動自然語言處理在中國和亞太的卓越發展做出了杰出貢獻。

?

目錄

問答環節

現場PPT

演講PPT

演講的五個部分

?Multi-lingual capablity

Multi-model

MRC

個性化推薦

---

?

?

?

?

問答環節

雷鳴教授：關于多輪語義分析器的看法。多輪還是限制場景，可以理解為算力或者某種不足。
周明教授：上下文信息如何關聯，一定要考慮場景，通過場景定義狀態，然后進行推理。
雷鳴教授：算力推動的發展，科研要跟著算力走，算力與自然語言的關系，未來的發展，是否會因為算力而提高？
周明教授：算力當然永遠是重要的，有些問題，本身沒有太多的訓練語料，單憑算力是沒辦法的，可以通過人類的知識庫，加以改進。人類模型如何建，如何融入到模型中。關于多輪，是出現動態的變化，無法提前通過輸入輸出得出，還需要常識、知識庫的融入。基于數據驅動的，可以把模型建好。基于知識或者推理，背后還需要算力的。但是整個理論體系還沒有起來，如果理論建好，那時候或許還是要看算力。
雷鳴教授：深度學習和知識圖譜如何融合？語言其實是更大范圍的表征。
周明教授：背后的技術可以用深度學習來做，可以把知識圖譜也做詞嵌入，與詞的嵌入類似。但我不認為，該方向不太會有大的突破。第一，怎么來把知識圖譜完備好；第二，假設知識圖譜完備的情況下，如何去做推理。
雷鳴教授：動態理解，比如對視頻的理解，單句或者一幀圖片已經可以了。但是多輪的情況下，比如多輪對話，未來的發展，計算機視覺和自然語言處理的關系？
周明教授：未來人與機器的交互就是多模態的，現在的研究都是單模態的。現在，這是個特別誘人的方向，但是困境是缺乏相應的數據集。建議做語言與圖像的雙模態的數據集，以后可以做更大的數據集，來慢慢推動這個領域。基于數據集的驅動。
雷鳴教授：談一下那些領域會有比較好的進展，在落地或者終端用戶，適合學生創業的方向
周明教授：比如多模態的問答，先從單模態做起，先不加推理，以后再一步一步加上推理。關于哪些應用，具體的有，比如文本生成，把一首詩生成出來，但是不太符合邏輯，所以要結合邏輯生成詩句，會對人類的文檔生成巨大的影響。再比如翻譯、信息抽取，會對某個垂直領域，財經、醫療等。不一定會產生100%好，其實60%也可以產生很多效益。
雷鳴教授：NLP最近在挑戰圖靈測試嗎？目前有多大進展。算力的重要性。
周明教授：真正的人工智能，憑圖靈測試，其實并不能代表。大家要尊重算力，它體現了解碼能力、信息抽取能力。人類建模的能力，常識知識推理。算力要有的話當然要有，還是要強化建模能力，去潛心做研究。
雷鳴教授：量變到質變，基于詞法語法、基于概率統計(算力開始體現)、基于深度學習(更強的算力)，算力的提升會對算法有更好的體現，但是并不是要以算力為王，根據算力的基礎，做出更好的模型。
雷鳴教授：如何理解非自然語言，比如寫代碼，計算數學公式
周明教授：…………，常識結合推理，認知。
雷鳴教授：同聲傳譯是否會被替代？
周明教授：長期來看，很多場合會被替代，但短期來看，其實還有很長的路要走。比如碰到的背景噪聲、專業術語、容錯度低(場合嚴謹)等技術難點，可以探討人機結合，但是實用上目前不太好，作為技術人員，當然希望越來愈好！

個評：NLP結合CV，在未來，會有意想不到的突破點！
備注：以上對話環節的文本編輯，為博主總結，與原文稍微有異，請以原文錄音為準，歡迎網友留言探討。

?

現場PPT

?

演講PPT

演講的五個部分

?

?Multi-lingual capablity

少語料翻譯

Multi-model

多模態搜索

VQA：利用VQA數據集，3000個詞匯表，做出預測，輸出最優詞匯。

VQA中，犯常識性錯誤案例，基于常識改進圖像認知，修正VQA的結果。

圖像搜索與文本搜索的結合，提高用戶搜索體驗。

MRC

機器閱讀理解

MSRA以前的MRC框架

幾個優點

個性化推薦

用戶畫像，知識圖譜，(以前喜歡的+預測未來喜歡的)，可解釋性推薦(解釋的推薦理由)

實現的技術

未來的技術

其實，還有文本生成等應用。

未來幾個比較好的研究課題

歡迎來MSRA訪問、學習！

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的AI公开课：19.04.03周明—MSRA副院长《NLP的进步如何改变搜索的体验》课堂笔记以及个人感悟的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。