導(dǎo)讀：機(jī)器會(huì)有意識(shí)嗎？深度學(xué)習(xí)能否知道事情發(fā)生的因果關(guān)系？12月11日，圖靈獎(jiǎng)得主Yoshua?Bengio在NeurIPS 2019大會(huì)上發(fā)表演講，題目是《從系統(tǒng)1深度學(xué)習(xí)到系統(tǒng)2深度學(xué)習(xí)》。此外，IEEE Spectrum也采訪了Bengio，他從深度學(xué)習(xí)的不足，腦啟發(fā)式計(jì)算，物理、語(yǔ)言和常識(shí)等方面做出了回應(yīng)。

編譯：Just

來(lái)源：AI科技大本營(yíng)（ID:rgznai100）

在1990年代那個(gè)漫長(zhǎng)而寒冷的AI寒冬期，大多數(shù)人認(rèn)為神經(jīng)網(wǎng)絡(luò)是一條研究的死胡同，Yoshua Bengio等研究者卻仍堅(jiān)持不懈地進(jìn)行著該領(lǐng)域的研究。

最終他們的努力開(kāi)花結(jié)果。由于對(duì)深度學(xué)習(xí)做出的巨大貢獻(xiàn)，他與Yann Lecun和Geofrey Hinton等人在今年3月獲得了圖靈獎(jiǎng)。

如今，AI界關(guān)于深度學(xué)習(xí)缺點(diǎn)的討論再度掀起浪潮。由于對(duì)深度學(xué)習(xí)發(fā)展有不同理解，紐約大學(xué)教授Gary Marcus質(zhì)疑Bengio在深度學(xué)習(xí)上的立場(chǎng)，前一段時(shí)間和后者進(jìn)行了一場(chǎng)隔空“互懟”。

Marcus稱(chēng)他實(shí)際上贊成混合學(xué)習(xí)，但Bengio卻以為他（非常）反對(duì)深度學(xué)習(xí)，“深度學(xué)習(xí)是一種很好的工具，但只是眾多工具中的一種。”

而B(niǎo)engio認(rèn)為需要被進(jìn)一步挖掘深度學(xué)習(xí)的潛力，他此前警示了可解釋因果關(guān)系對(duì)深度學(xué)習(xí)發(fā)展的重要性。在他看來(lái)，除非深度學(xué)習(xí)能夠超越模式識(shí)別并了解因果關(guān)系的更多信息，否則它將無(wú)法實(shí)現(xiàn)其全部潛力，也不會(huì)帶來(lái)真正的AI革命。換句話(huà)說(shuō)，深度學(xué)習(xí)需要開(kāi)始知道事情發(fā)生的因果關(guān)系，這將使現(xiàn)有的AI系統(tǒng)更加智能，更加高效。

今年年初，他與其他研究者合作發(fā)表了《通過(guò)元遷移目標(biāo)來(lái)學(xué)習(xí)理解因果關(guān)系》一文，提出了一種基于學(xué)習(xí)器適應(yīng)稀疏分布變化速度的元學(xué)習(xí)因果結(jié)構(gòu)，還生成了因果關(guān)系的綜合數(shù)據(jù)集。

近來(lái)德國(guó)學(xué)者Bernhard Sch?lkopf發(fā)布的一篇關(guān)于因果關(guān)系的綜述文章也引發(fā)了學(xué)界關(guān)注，作者闡述了一些將因果關(guān)系和機(jī)器學(xué)習(xí)結(jié)合的想法，并勾勒出一個(gè)更大的研究藍(lán)圖。

總之，業(yè)內(nèi)對(duì)深度學(xué)習(xí)百家爭(zhēng)鳴的討論，表明現(xiàn)在已到了開(kāi)啟AI下一個(gè)研究進(jìn)程的時(shí)候。

當(dāng)?shù)貢r(shí)間12月11日，Bengio在NeurIPS 2019大會(huì)上發(fā)表了類(lèi)似話(huà)題的演講，題目是《從系統(tǒng)1深度學(xué)習(xí)到系統(tǒng)2深度學(xué)習(xí)》。

Bengio 介紹，深度學(xué)習(xí)過(guò)去的進(jìn)展主要集中于從靜態(tài)數(shù)據(jù)集學(xué)習(xí)，主要用于感知任務(wù)和其他的系統(tǒng)1任務(wù)（人類(lèi)直觀和無(wú)意識(shí)地完成的任務(wù)）。

但是，近年來(lái)，研究方向的轉(zhuǎn)變以及諸如軟注意力和深度強(qiáng)化學(xué)習(xí)的進(jìn)步等新工具為解決系統(tǒng)2任務(wù)（有意識(shí)地完成）的新型深度架構(gòu)和訓(xùn)練框架的開(kāi)發(fā)打開(kāi)了大門(mén)。例如自然語(yǔ)言處理和其他應(yīng)用中的推理、計(jì)劃、捕獲因果關(guān)系，并獲得系統(tǒng)性概括。

在他看來(lái)，深度學(xué)習(xí)從系統(tǒng)1任務(wù)到系統(tǒng)2任務(wù)的這種擴(kuò)展對(duì)舊的深度學(xué)習(xí)目標(biāo)實(shí)現(xiàn)發(fā)現(xiàn)高級(jí)抽象表示很重要，因?yàn)橄到y(tǒng)2的要求將對(duì)表示學(xué)習(xí)造成壓力，以發(fā)現(xiàn)人類(lèi)用語(yǔ)言操縱的高級(jí)別抽象概念。

為了達(dá)到這個(gè)目標(biāo)，他們認(rèn)為軟注意機(jī)制是一個(gè)關(guān)鍵因素，它將計(jì)算一次集中在幾個(gè)概念上(“意識(shí)思維”)，因?yàn)橄闰?yàn)意識(shí)及其相關(guān)的假設(shè)是，許多高層次的依賴(lài)關(guān)系可以被一個(gè)稀疏因子圖近似地捕捉到。

他們還討論了深度學(xué)習(xí)中的 agent 視角如何有助于對(duì)學(xué)習(xí)的表示形式施加更多約束，以捕獲環(huán)境中的可供性（affordances）、因果變量和模型轉(zhuǎn)換。

此外，他們建議元學(xué)習(xí)、先驗(yàn)意識(shí)的模塊化方面以及表征學(xué)習(xí)的主體視角應(yīng)促進(jìn)以新穎的方式重用所學(xué)組件（即使在統(tǒng)計(jì)上不太可能，如反事實(shí)），從而實(shí)現(xiàn)更強(qiáng)大的組合泛化形式。

最后，Bengio 的報(bào)告給出了五點(diǎn)結(jié)論和問(wèn)題：

認(rèn)知神經(jīng)科學(xué)之后，機(jī)器學(xué)習(xí)去探索意識(shí)的時(shí)機(jī)已經(jīng)成熟

能否帶來(lái)新的先驗(yàn)來(lái)幫助系統(tǒng)地進(jìn)行良好的歸納？

認(rèn)知神經(jīng)科學(xué)也會(huì)受益嗎？

允許將深度學(xué)習(xí)從系統(tǒng)1擴(kuò)展到系統(tǒng)2嗎？

假設(shè)：需要良好的系統(tǒng)1功能來(lái)使系統(tǒng)2有效

Bengio 在NeurIPS 2019的演講幻燈片：

https://drive.google.com/file/d/1zbe_N8TmAEvPiKXmn6yZlRkFehsAUS8Z/view

此外，IEEE Spectrum就類(lèi)似的話(huà)題采訪了Bengio，他從深度學(xué)習(xí)的不足，腦啟發(fā)式計(jì)算，物理、語(yǔ)言和常識(shí)等方面做出了回應(yīng)。

01 深度學(xué)習(xí)及其不足

IEEE Spectrum：您如何看待所有有關(guān)深度學(xué)習(xí)局限性的討論？

Yoshua Bengio：太多面向公眾的場(chǎng)所不了解我們?cè)贏I和其他學(xué)科中研究的核心內(nèi)容：我們?cè)噲D了解當(dāng)前理論和方法的局限性，以擴(kuò)大智力工具的范圍。因此，深度學(xué)習(xí)研究人員希望找到不理想的地方，以便我們找出需要補(bǔ)充的內(nèi)容和需要探索的地方。

Gary Marcus等人注意到了這一點(diǎn)，發(fā)出了這樣的信息：“看起來(lái)，深度學(xué)習(xí)是行不通的。” 但實(shí)際上，像我這樣的研究人員正在做的事情是擴(kuò)大其范圍。當(dāng)我談?wù)撝T如需要AI系統(tǒng)理解因果關(guān)系之類(lèi)的事情時(shí)，我并不是說(shuō)這將取代深度學(xué)習(xí)。我正在嘗試向“工具箱”中添加新內(nèi)容。

作為科學(xué)家，對(duì)我而言重要的是解決這些問(wèn)題需要探索的東西，不是誰(shuí)對(duì)誰(shuí)錯(cuò)了。

Spectrum：您如何評(píng)估深度學(xué)習(xí)的當(dāng)前狀態(tài)？

Bengio：在過(guò)去的二十年中，我們?cè)谶@項(xiàng)工作上取得了很多進(jìn)展，但我認(rèn)為AI今天還沒(méi)有擁有接近兩歲孩子的智力水平。但是也許我們有等同于低等動(dòng)物的算法來(lái)進(jìn)行感知。而且，我們?cè)谠试S實(shí)體探索其環(huán)境的工具方面正在逐步攀升。

當(dāng)今最重要的辯論之一是：高級(jí)認(rèn)知的要素是什么？因果關(guān)系是其中的一個(gè)要素，此外還有推理和計(jì)劃、想象力和功勞分配。在經(jīng)典AI中，他們?cè)噲D通過(guò)邏輯和符號(hào)來(lái)獲得這些東西。有人說(shuō)我們可以通過(guò)經(jīng)典AI來(lái)做到這一點(diǎn)，也許可以通過(guò)改進(jìn)來(lái)實(shí)現(xiàn)。

還有像我這樣的人，認(rèn)為我們應(yīng)該采用過(guò)去幾年構(gòu)建的工具來(lái)創(chuàng)建這些功能，其方式類(lèi)似于人類(lèi)進(jìn)行推理的方式，這實(shí)際上與基于搜索的純邏輯系統(tǒng)執(zhí)行操作的方式完全不同。

02 腦啟發(fā)式計(jì)算的曙光

Spectrum：我們?nèi)绾蝿?chuàng)建類(lèi)似于人類(lèi)推理的功能？

Bengio：注意力機(jī)制使我們能夠?qū)W習(xí)如何將計(jì)算重點(diǎn)放在幾個(gè)元素上。人類(lèi)做到了這一點(diǎn)，這是有意識(shí)處理的一個(gè)特別重要的部分。當(dāng)你意識(shí)到某件事時(shí)，您將注意力集中在一些元素上，也許是某個(gè)想法，然后繼續(xù)想到另一個(gè)想法，這與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)非常不同，后者是大規(guī)模并行處理。

由于這些注意力機(jī)制，我們?cè)谟?jì)算機(jī)視覺(jué)、翻譯和記憶方面取得了重大突破，但是我相信這只是另一種來(lái)自腦啟發(fā)式計(jì)算的開(kāi)始。

這并不是說(shuō)我們已經(jīng)解決了問(wèn)題，但我認(rèn)為我們有很多入門(mén)工具。我并不是說(shuō)這會(huì)很容易。我在2017年撰寫(xiě)了一篇論文，題為《先驗(yàn)意識(shí)》，闡述了這一問(wèn)題。我有幾個(gè)學(xué)生正在從事此工作，我知道這是一項(xiàng)長(zhǎng)期工作。

論文鏈接：

https://arxiv.org/abs/1709.08568?

Spectrum：您想在AI中復(fù)制人類(lèi)智慧的其他哪些方面？

Bengio：我們還討論了神經(jīng)網(wǎng)絡(luò)想象的能力：推理、記憶和想象力是同一件事在你腦海中發(fā)生的三個(gè)部分。

你將自己投射到過(guò)去或?qū)?lái)，并且按照這些預(yù)測(cè)進(jìn)行操作時(shí)，你正在進(jìn)行推理。如果你預(yù)計(jì)將來(lái)會(huì)發(fā)生不好的事情，那么會(huì)改變路線，這就是你進(jìn)行計(jì)劃的方式。而且你也正在使用記憶，因?yàn)槟銜?huì)回到已知的事物上來(lái)進(jìn)行判斷，可以從現(xiàn)在和過(guò)去中選擇相關(guān)的事物。

注意力（Attention）是這里的關(guān)鍵組成部分。假設(shè)我正在將一本書(shū)翻譯成另一種語(yǔ)言，對(duì)于每個(gè)單詞，我都必須仔細(xì)閱讀本書(shū)的一小部分。注意力使你可以抽象出許多不相關(guān)的細(xì)節(jié)，并集中精力處理重要的內(nèi)容。能挑選出相關(guān)要素，這就是注意力所做的。

Spectrum：這如何轉(zhuǎn)化到機(jī)器學(xué)習(xí)？

Bengio：你不必告訴神經(jīng)網(wǎng)絡(luò)要注意什么，這就是它的美。它可以自學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)應(yīng)該給予一組可能元素中的每個(gè)元素多少注意力或權(quán)重。?

03 學(xué)會(huì)學(xué)習(xí)（learning to learn）

Spectrum：您最近的因果關(guān)系研究與這些想法有何關(guān)系？

Bengio：你用來(lái)推理的高層次概念往往是因果關(guān)系的變量。你并不會(huì)基于像素進(jìn)行推理，而是根據(jù)門(mén)或旋鈕或打開(kāi)或關(guān)閉等概念進(jìn)行推理。因果關(guān)系對(duì)于機(jī)器學(xué)習(xí)的下一步發(fā)展非常重要。

它與深度學(xué)習(xí)中人們經(jīng)常想到的另一個(gè)主題有關(guān)。系統(tǒng)概括是人類(lèi)必須概括我們所知道的概念的能力，因此它們可以通過(guò)新的方式進(jìn)行組合，這與我們所見(jiàn)過(guò)的其他任何方式都不一樣。當(dāng)今的機(jī)器學(xué)習(xí)不知道該怎么做。

因此，你經(jīng)常會(huì)遇到與特定數(shù)據(jù)集訓(xùn)練有關(guān)的問(wèn)題。假設(shè)你在一個(gè)國(guó)家/地區(qū)訓(xùn)練，然后在另一個(gè)國(guó)家/地區(qū)進(jìn)行部署。你需要概括和遷移學(xué)習(xí)。你如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)以便將其遷移到新環(huán)境中時(shí)，它可以繼續(xù)正常工作或快速適應(yīng)嗎？

Spectrum：這種適應(yīng)性的關(guān)鍵是什么？

Bengio：元學(xué)習(xí)是當(dāng)今非常熱門(mén)的話(huà)題：學(xué)會(huì)學(xué)習(xí)。我在1991 年就此發(fā)表了一篇早期論文，但是直到最近我們才獲得實(shí)現(xiàn)這種事情的計(jì)算能力。

鏈接：

http://bengio.abracadoudou.com/publications/pdf/bengio_1991_ijcnn.pdf

它的計(jì)算量很大。這個(gè)想法是：為了泛化到新環(huán)境，你必須練習(xí)泛化到新環(huán)境。當(dāng)你考慮它時(shí)，它是如此簡(jiǎn)單。

孩子們一直都這樣做。當(dāng)他們從一個(gè)房間移動(dòng)到另一個(gè)房間時(shí)，環(huán)境不是一成不變的，它一直在變化。孩子們訓(xùn)練自己要善于適應(yīng)。為了有效地做到這一點(diǎn)，他們必須利用過(guò)去獲得的知識(shí)。我們開(kāi)始了解此能力，并構(gòu)建能復(fù)制它的工具。

對(duì)深度學(xué)習(xí)的一種批評(píng)是，它需要大量的數(shù)據(jù)。如果你僅在一項(xiàng)任務(wù)上進(jìn)行訓(xùn)練，確實(shí)是這樣。但是孩子們有能力根據(jù)很少的數(shù)據(jù)學(xué)習(xí)，他們利用以前學(xué)到的東西。但更重要的是他們正在利用自己的適應(yīng)能力和泛化能力。

04 “還沒(méi)準(zhǔn)備要工業(yè)應(yīng)用”

Spectrum：這些想法中的任何一個(gè)會(huì)很快在現(xiàn)實(shí)世界中應(yīng)用嗎？

Bengio：不。這都是關(guān)于玩具問(wèn)題（toy problems）的非常基礎(chǔ)的研究。那就是我們的狀況。我們可以調(diào)試這些想法，繼續(xù)進(jìn)行新的假設(shè)。這還沒(méi)有為工業(yè)應(yīng)用做好準(zhǔn)備。

但是行業(yè)關(guān)心兩個(gè)實(shí)際的局限性，這項(xiàng)研究可能會(huì)有所幫助。一個(gè)是構(gòu)建對(duì)環(huán)境變化更具健壯性的系統(tǒng)，另一個(gè)是我們?nèi)绾螛?gòu)建自然語(yǔ)言處理系統(tǒng)，對(duì)話(huà)系統(tǒng)和虛擬助手？當(dāng)前使用深度學(xué)習(xí)的最先進(jìn)系統(tǒng)的問(wèn)題在于，它們接受了大量數(shù)據(jù)的訓(xùn)練，但是他們并不太了解他們?cè)谡f(shuō)什么。

像Gary Marcus這樣的人注意到了這一點(diǎn)會(huì)說(shuō)，“這證明深度學(xué)習(xí)是行不通的。”像我這樣的人說(shuō)，“那很有趣，讓我們應(yīng)對(duì)挑戰(zhàn)。”

05 物理、語(yǔ)言和常識(shí)

Spectrum：聊天機(jī)器人如何做得更好？

Bengio：有一個(gè)叫做“基礎(chǔ)語(yǔ)言學(xué)習(xí)”的想法最近正在引起的關(guān)注。這個(gè)想法是，人工智能系統(tǒng)不應(yīng)該僅從文本中學(xué)習(xí)。它應(yīng)該同時(shí)學(xué)習(xí)世界如何運(yùn)轉(zhuǎn)以及如何用語(yǔ)言描述世界。問(wèn)問(wèn)自己：如果孩子僅通過(guò)文本與世界互動(dòng)，能否理解世界？我懷疑他們會(huì)很困難。

這與有意識(shí)或無(wú)意識(shí)知識(shí)有關(guān)，我們知道但無(wú)法具體命名。直觀的物理就是一個(gè)很好的例子。兩歲的孩子懂得直觀的物理，他們不知道牛頓方程，但是他們從具體的意義上理解重力等概念。現(xiàn)在，有些人正在嘗試構(gòu)建與環(huán)境互動(dòng)并發(fā)現(xiàn)物理基本定律的系統(tǒng)。?Spectrum：為什么基本的物理知識(shí)會(huì)有助于對(duì)話(huà)？

Bengio：語(yǔ)言方面的問(wèn)題是，系統(tǒng)通常并不真正理解單詞所指的復(fù)雜性。例如，在Winograd模式中使用的語(yǔ)句；為了理解它們，你必須掌握物理知識(shí)。

像這樣的句子：“吉姆想把燈放到他的行李箱里，但是它太大了。”你知道，如果這個(gè)物體太大而不能放進(jìn)行李箱，那么“它”一定是第二個(gè)短語(yǔ)的主語(yǔ)“它”。

你可以用語(yǔ)言交流這種知識(shí)，但這不是我們四處說(shuō)的那種話(huà)：“一件行李的典型大小是x乘x。”我們需要能夠理解世界的語(yǔ)言理解系統(tǒng)。當(dāng)前，人工智能研究人員正在尋找捷徑。但是他們還不夠。人工智能系統(tǒng)還需要獲取世界運(yùn)作方式的模型。

相關(guān)鏈接：

https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/yoshua-bengio-revered-architect-of-ai-has-some-ideas-about-what-to-build-next

有話(huà)要說(shuō)????

Q:?深度學(xué)習(xí)會(huì)掌握因果關(guān)系嗎？

歡迎留言與大家分享

猜你想看????

• 從治療癌癥到預(yù)測(cè)犯罪，細(xì)數(shù)數(shù)據(jù)科學(xué)在各領(lǐng)域的神奇應(yīng)用
  

• 什么是氣泡圖？怎樣用Python繪制？怎么用？終于有人講明白了
  

• 50年后的地球什么樣？大數(shù)據(jù)、AI、量子計(jì)算的書(shū)單給你答案
  

• 數(shù)據(jù)中臺(tái)VS業(yè)務(wù)中臺(tái)、數(shù)據(jù)中臺(tái)VS數(shù)據(jù)倉(cāng)庫(kù)，到底有什么區(qū)別？
  

更多精彩????

在公眾號(hào)對(duì)話(huà)框輸入以下關(guān)鍵詞

查看更多優(yōu)質(zhì)內(nèi)容！

PPT?|?報(bào)告?|?讀書(shū)?|?書(shū)單?|?干貨?

大數(shù)據(jù)?|?揭秘?|?Python?|?可視化

AI?|?人工智能?|?5G?|?中臺(tái)

機(jī)器學(xué)習(xí)?|?深度學(xué)習(xí)?|?神經(jīng)網(wǎng)絡(luò)

合伙人?|?1024?|?段子?|?數(shù)學(xué)

據(jù)統(tǒng)計(jì)，99%的大咖都完成了這個(gè)神操作

????

覺(jué)得不錯(cuò)，請(qǐng)把這篇文章分享給你的朋友

轉(zhuǎn)載 / 投稿請(qǐng)聯(lián)系：baiyu@hzbook.com

更多精彩，請(qǐng)?jiān)诤笈_(tái)點(diǎn)擊“歷史文章”查看

總結(jié)

以上是生活随笔為你收集整理的图灵奖得主Bengio：深度学习让AI得以推理和想象，不会被取代的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。