圖片來源@全景視覺

　　文丨學術頭條

　　在 2020 的 ICLR 線上大會上，蒙特利爾學習算法研究所主任、圖靈獎得主 Yoshua Bengio 和 Facebook 的副總裁兼首席人工智能科學家 Yann LeCun，坦率地談到了未來 AI 的研究趨勢。

　　根據兩位大咖的說法，自我監督學習可能使 AI 產生類人的推理能力。

　　自監督學習，像人一樣自覺觀察世界

　　監督式學習需要在有標注的數據集上訓練 AI 模型，而 LeCun 認為隨著自我監督學習的廣泛應用，這種訓練模式的作用將逐漸減弱。自監督學習算法不再依賴標注，而是通過揭示數據各部分之間的關系，從數據中生成標簽。

　　自監督學習是一種機器學習的「理想狀態」，重點在于如何自動生成數據標簽，這一步驟被認為對于實現人類水平的智能至關重要。舉一個例子，例如輸入一張圖片，把圖片隨機旋轉一個角度，然后把旋轉后的圖片作為輸入，隨機旋轉的角度作為標簽。

　　很多網友比較關注的一個問題是，自監督學習和無監督學習是一個意思嗎？

　　自監督類似無監督學習，都是從沒有明確標簽的數據中進行學習。但無監督學習側重于學習數據的內在關系、結構，比如 clustering、grouping、density estimation, or anomaly detection 等等，而自監督是根據數據集本身生成標簽。

　　為了進一步解釋自監督學習，LeCun 做了類比，「不管是我們人類，還是動物，在學習大多數事物時，都是在自我監督的模式下進行的，而不是強化學習模式。這個模式本質上就是觀察這個世界，然后不斷與之增進互動，這種觀察是自發的，而不是在測試條件下完成的。」LeCun 表示， 「這種學習方式，比較難以用機器來復制。」

　　其中，不確定性是阻礙自監督學習成功的主要障礙。

連續分布和離散分布

　　數據的分布是這樣一個表，它將變量所有可能的值與其出現的概率聯系起來。在變量是離散的情況下，它們可以很好地表示不確定性，這就是為什么像 Google BERT 這樣的架構如此成功。但目前，研究人員尚未找到一種方法來有效地表示連續變量的分布。

　　在斯坦福對話問答數據集上測試時，BERT 實現了 93.2% 的準確率，分別優于最先進的機器學習水平和人類水平 。斯坦福問答數據集是一個閱讀理解的數據集，包含了一組維基百科文章中提出的問題。在通用語言理解評估基準測試（一個用于培訓和評估 NLP 系統的資源集合上，BERT 的準確率達到了 80.4% 。

　　解決連續分布問題

　　LeCun 認為，找到一種能表示連續分布的模型，就會有新突破。

　　Lecun 指出，連續分布問題的一個解決方案是利用基于能量的模型（EBM），它能夠學習數據集中的數學元素，并生成類似的數據集。

　　此前，OpenAI 開發了一種基于能量的模型，可以快速學會識別和生成概念，例如附近，上，中，最近和最遠等，并表示為 2D 點集。模型僅在五次演示后學習了這些概念。

　　從過去的研究中看，這種形式的建模一直難以應用到實際當中，但 Open AI 2019 年的研究表明，這種基于能量的模型可以支持復雜的拓撲（topologies）。

　　Bengio 在研討中表示，他相信人工智能研究可以從神經科學領域受益頗多，特別是意識和意識處理的探索方面。當然收益也是雙向的，一些神經科學家正在使用卷積神經網絡作為視覺系統的腹側通路。

　　Bengio 預測，新的研究將闡明高級語義變量與大腦如何處理信息（包括視覺信息）之間的關系。而這些變量是人類語言交流所用的，它們可能會衍生出新一代的深度學習模型。

　　「通過與基礎語言學習相結合，我們可以取得很多進展，歸根結底我們都在打造能夠理解這個世界的模型，以及高層次的概念是如何相互關聯的。這是一種聯合式的分布，」Bengio 說?！肝蚁嘈?，人類的意識處理過程，利用的是有關世界如何變化的假設，這些假設可以理解成為一種更高層次的表達方式。簡單來講，就是我們看到世界的變化，然后想到一句話來解釋這種變化?！?/p>

　　達到人類智力的另一難題：背景知識

　　想要實現人類智力，另一大難題就是背景知識。正如 LeCun 所解釋的，大多數人可以在 30 小時內學會駕駛汽車，因為他們已經憑借直覺構建了一個關于汽車行動方式的物理模型。相比之下，現在無人駕駛汽車所采用的強化學習模型要從零開始學起---- 他們必須犯上成千上萬次的錯誤，才能做出正確的操作。

　　LeCun 表示，「顯然，我們需要能夠構建模型來學習世界，這就是進行自監督學習的原因——運行預測世界模型，能夠讓系統進行更快地學習。從概念上講，這相當簡單，除非是在那些我們無法完全預測的不確定環境中?！?/p>

　　LeCun 認為，想要實現通用人工智能（AGI），就算有自監督學習和神經科學學習的加持，也是不夠的。

　　通用人工智能（AGI ）是指機器獲得人類水平的智能。一些研究人員將通用人工智能稱為強 AI（strong AI）或者完全 AI（full AI），或稱機器具有執行通用智能行為（general intelligent action）的能力。

　　他表示，這是因為智力，尤其是人類的智力，是非常特殊的?！窤GI 是不存在的，根本沒有通用人工智能這回事。我們可以談論老鼠水平的智力、貓的智力、狗的智力，或者人類的智力，但還根本談不上通用人工智能?！筁eCun 說。

　　但是 Bengio 相信機器最終將習得關于這個世界的各種知識，這個過程不需要機器去親身體驗，而是通過習得可以語言化的知識來實現。

　　「我認為這也是人類的一個巨大優勢，相比于其他動物來說，」他說?！肝艺J為，人類之所以聰明，是因為我們有我們自己的文化，讓我們能夠解決這個世界的問題。要想讓人工智能在現實世界中發揮作用，我們需要它不僅僅是能夠翻譯的機器，而是能夠真正理解自然語言的機器?！?/p>

　　自監督學習是 AI 的未來

　　自監督學習背后的核心想法，是開發一種深度學習系統，可以通過學習填補 AI 未知的領域。

　　LeCun 曾在今年四月份 AAAI 會議演講中談到，「我認為自監督學習是 AI 的未來。這將使我們的 AI 系統，深度學習系統更上一層樓，或許 AI 可以通過觀察獲取有關世界足夠多的背景知識，從而形成一些基本常識。」

　　自我監督學習的主要好處之一是 AI 能夠主動輸出巨大的信息量。在強化學習中，訓練 AI 系統是在標量級別執行的，模型會收到一個數值作為對其行為的獎勵或懲罰。在監督學習中，AI 系統為每個輸入結果預測類別或數值。

　　在自監督學習中，輸出結果將涉及到整個圖像或是一組圖像，「自監督學習輸出的信息量很大。要讓 AI 學習相同量的有關世界的知識，自監督學習需要的樣本量也更少。」 LeCun 說。

　　我們必須弄清楚不確定性問題是如何運作的，當尋到解決方案時，我們將會解鎖 AI 未來的關鍵。

　　LeCun 說，「如果說人工智能是一塊蛋糕，那么自監督學習就是其中最大的一塊。」

　　參考鏈接：

　　https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/

總結

以上是生活随笔為你收集整理的图灵奖得主Bengio和LeCun：自监督学习可使AI达到人类智力水平的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。