【深度学习之美笔记】人工“碳”索意犹尽,智能“硅”来未可知(入门系列之二)
目錄
一、前言
二、深度學(xué)習(xí)再認(rèn)識(shí)
2.1 人工智能的“江湖定位”
?2.2 深度學(xué)習(xí)的歸屬
2.3.機(jī)器學(xué)習(xí)的形式化定義
2.4 為什么要用神經(jīng)網(wǎng)絡(luò)?
2.5 小結(jié)
2.6 請(qǐng)你思考
三、參考文獻(xiàn)
四、參考
一、前言
? ? ? ?在前面的小節(jié)中,我們僅僅泛泛而談了機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等概念,在這一小節(jié),我們將給出它的更加準(zhǔn)確的形式化描述。
? ? ? ?我們經(jīng)常聽到人工智能如何如何?深度學(xué)習(xí)怎樣怎樣?那么它們之間有什么關(guān)系呢?在本小節(jié),我們首先從宏觀上談?wù)勅斯ぶ悄艿摹敖ㄎ弧焙蜕疃葘W(xué)習(xí)的歸屬。然后再在微觀上聊聊機(jī)器學(xué)習(xí)的數(shù)學(xué)本質(zhì)是什么?以及我們?yōu)槭裁匆蒙窠?jīng)網(wǎng)絡(luò)?
? ? ?(轉(zhuǎn)者言:找到數(shù)學(xué)本質(zhì)可以更好的理解,事物的本質(zhì)用數(shù)學(xué)描述往往很直觀)
二、深度學(xué)習(xí)再認(rèn)識(shí)
2.1 人工智能的“江湖定位”
? ? ? ? 宏觀上來看,?人類科學(xué)和技術(shù)的發(fā)展,大致都遵循著這樣的規(guī)律:現(xiàn)象觀察、理論提取和人工模擬(或重現(xiàn))。?人類“觀察大腦”的歷史由來已久,但由于對(duì)大腦缺乏“深入認(rèn)識(shí)”,常常“絞盡腦汁”,也難以“重現(xiàn)大腦”。
? ? ? ?直到上個(gè)世紀(jì)40年代以后,腦科學(xué)、神經(jīng)科學(xué)、心理學(xué)及計(jì)算機(jī)科學(xué)等眾多學(xué)科,取得了一系列重要進(jìn)展,使得人們對(duì)大腦的認(rèn)識(shí)相對(duì)“深入”,從而為科研人員從“觀察大腦”到“重現(xiàn)大腦”搭起了橋梁,哪怕這個(gè)橋梁到現(xiàn)在還僅僅是個(gè)并不堅(jiān)固的浮橋。
? ? ? (轉(zhuǎn)者言:對(duì)腦結(jié)構(gòu)和神經(jīng)科學(xué)的進(jìn)一步研究,觸發(fā)了深度學(xué)習(xí)的發(fā)展。有了腦結(jié)構(gòu)和神經(jīng)元的結(jié)構(gòu),我們可以基于這個(gè)去模擬大腦。事物的結(jié)構(gòu)很重要。)
?
圖2-1 人工智能的本質(zhì)
? ? ? ?而所謂的“重現(xiàn)大腦”,在某種程度上,就是目前的研究熱點(diǎn)——人工智能。簡單來講,人工智能就是為機(jī)器賦予人類的智能。由于目前的機(jī)器核心部件是由晶體硅構(gòu)成,所以可稱之為“硅基大腦”。而人類的大腦主要由碳水化合物構(gòu)成,因此可稱之為“碳基大腦”。
(轉(zhuǎn)者言:結(jié)構(gòu)很重要,具體由什么組成可以有差異)
? ? ? ? 那么,?現(xiàn)在的人工智能,通俗來講,大致就是用“硅基大腦”模擬或重現(xiàn)“碳基大腦”。?那么,在未來會(huì)不會(huì)出現(xiàn)“碳硅合一”的大腦或者全面超越人腦的“硅基大腦”呢?
(轉(zhuǎn)者言:硅基大腦也處于發(fā)展當(dāng)中和人類的大腦一樣,它處于發(fā)展當(dāng)中,具體進(jìn)化到什么程度,現(xiàn)在也沒人知道,但是值得我們警惕。)
? ? ? ? 有人就認(rèn)為,在很大程度上,這個(gè)答案可能是“會(huì)的”!比如說,未來預(yù)言大師雷·庫茲韋爾(Ray Kurzweil)就預(yù)測(cè),到2045年,人類的“奇點(diǎn)”時(shí)刻就會(huì)臨近[1] 。這里的“奇點(diǎn)”是指,人類與其他物種(物體)的相互融合,更確切來說,是硅基智能與碳基智能兼容的那個(gè)奇妙時(shí)刻。
(轉(zhuǎn)者言:目前已經(jīng)在融合了,比如我們使用它不就是一種融合,融合也在不斷發(fā)展當(dāng)中,具體融合到什么程度,現(xiàn)在也沒人知道)
?2.2 深度學(xué)習(xí)的歸屬
? ? ? ?在當(dāng)下,雖然深度學(xué)習(xí)領(lǐng)跑人工智能。但事實(shí)上,人工智能研究領(lǐng)域很廣,包括機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、專家系統(tǒng)、規(guī)劃與推理、語音識(shí)別、自然語音處理和機(jī)器人等。而機(jī)器學(xué)習(xí)又包括深度學(xué)習(xí)、監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等。簡單來講,機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法,而深度學(xué)習(xí)僅僅是實(shí)現(xiàn)機(jī)器學(xué)習(xí)的一種技術(shù)而已(如圖2-2所示)。
?
圖2-2 深度學(xué)習(xí)的“江湖地位”
? ? ? ?需要說明的是,對(duì)人工智能做任何形式的劃分,都可能是有缺陷的。在圖2中,人工智能的各類技術(shù)分支,彼此涇渭分明,但實(shí)際上,它們之間卻可能阡陌縱橫,比如說深度學(xué)習(xí)是無監(jiān)督的。語音識(shí)別可以用深度學(xué)習(xí)的方法來完成。再比如說,圖像識(shí)別、機(jī)器視覺更是當(dāng)前深度學(xué)習(xí)的拿手好戲。
? ? ? ? ?一言蔽之,?人工智能的分支并不是一個(gè)有序的樹,而是一個(gè)彼此纏繞的灌木叢。?有時(shí)候,一個(gè)分藤蔓比另一個(gè)分藤蔓生長得快,并且處于顯要地位,那么它就是當(dāng)時(shí)的研究熱點(diǎn)。深度學(xué)習(xí)的前生——神經(jīng)網(wǎng)絡(luò)的發(fā)展,就是這樣的幾起幾落。當(dāng)下,深度學(xué)習(xí)如日中天,但會(huì)不會(huì)也有“虎落平陽被犬欺”的一天呢?從事物的發(fā)展規(guī)律來看,這一天肯定會(huì)到來!
(轉(zhuǎn)者言:這個(gè)圖不好,個(gè)人認(rèn)為機(jī)器學(xué)習(xí)包括深度學(xué)習(xí)只是一種方法可以看成一種數(shù)學(xué)方法,它可以解決好多業(yè)務(wù)問題比如語音識(shí)別,文本識(shí)別等。)
? ? ? ? 在圖2-3中,既然我們把深度學(xué)習(xí)和傳統(tǒng)的監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)單列出來,自然是有一定道理的。這就是因?yàn)?#xff0c;深度學(xué)習(xí)是高度數(shù)據(jù)依賴型的算法,它的性能通常隨著數(shù)據(jù)量的增加而不斷增強(qiáng),也就是說它的可擴(kuò)展性(Scalability)顯著優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法(如圖2-3所示)。
?
圖2-3 深度學(xué)習(xí)和傳統(tǒng)學(xué)習(xí)算法的區(qū)別
? ? ? ? 但如果訓(xùn)練數(shù)據(jù)比較少,深度學(xué)習(xí)的性能并不見得就比傳統(tǒng)機(jī)器學(xué)習(xí)好。其潛在的原因在于,作為復(fù)雜系統(tǒng)代表的深度學(xué)習(xí)算法,只有數(shù)據(jù)量足夠多,才能通過訓(xùn)練,在深度神經(jīng)網(wǎng)絡(luò)中,“恰如其分”地將把蘊(yùn)含于數(shù)據(jù)之中的復(fù)雜模式表征出來。
(轉(zhuǎn)者言:深度學(xué)習(xí)是復(fù)雜的函數(shù),所以它需要更多的數(shù)據(jù)點(diǎn)去求解參數(shù),比如直線求解需要2個(gè)點(diǎn),拋物線求解需要三個(gè)點(diǎn)。網(wǎng)絡(luò)層數(shù)越多說明函數(shù)越復(fù)雜,就需要更多的數(shù)據(jù)點(diǎn)。但是原始問題有多么復(fù)雜這是個(gè)定量,就需要我們調(diào)整我們函數(shù)的復(fù)雜度。如果是直線問題,你非用拋物線問題去求解,這個(gè)誤差就大了哦。)
不論機(jī)器學(xué)習(xí),還是它的特例深度學(xué)習(xí),在大致上,都存在兩個(gè)層面的分析(如圖2-4所示):
?
圖2-4 機(jī)器學(xué)習(xí)的兩層作用
(1)面向過去(對(duì)收集到的歷史數(shù)據(jù),用作訓(xùn)練),發(fā)現(xiàn)潛藏在數(shù)據(jù)之下的模式,我們稱之為描述性分析(Descriptive Analysis);
(2)面向未來,基于已經(jīng)構(gòu)建的模型,對(duì)于新輸入數(shù)據(jù)對(duì)象實(shí)施預(yù)測(cè),我們稱之為預(yù)測(cè)性分析(Predictive Analysis)。
? ? ? 前者主要使用了“歸納”,而后者更側(cè)重于“演繹”。對(duì)歷史對(duì)象的歸納,可以讓人們獲得新洞察、新知識(shí),而對(duì)新對(duì)象實(shí)施演繹和預(yù)測(cè),可以使機(jī)器更加智能,或者說讓機(jī)器的某些性能得以提高。二者相輔相成,均不可或缺。
(轉(zhuǎn)者言:還是要直線求解來說明,面向過去就是輸入用于求解直線的2個(gè)坐標(biāo)x能得出對(duì)應(yīng)的y坐標(biāo),面向未來就是輸入任意的x坐標(biāo)都得出一個(gè)y坐標(biāo)。)
? ? ?在前面的部分,我們給予機(jī)器學(xué)習(xí)的概念性描述,下面我們給出機(jī)器學(xué)習(xí)的形式化定義。
2.3.機(jī)器學(xué)習(xí)的形式化定義
? ? ? ?在《未來簡史》一書中[2],尤瓦爾?赫拉利說,根據(jù)數(shù)據(jù)主義的觀點(diǎn),人工智能實(shí)際上就是找到一種高效的“電子算法”,用以代替或在某項(xiàng)指標(biāo)上超越人類的“生物算法”。那么,任何一個(gè)“電子算法”都要實(shí)現(xiàn)一定的功能(Function),才有意義。
? ? ?在計(jì)算機(jī)術(shù)語中,中文將“Function”翻譯成“函數(shù)”,這個(gè)多少有點(diǎn)扯淡,因?yàn)樗姆g并沒有達(dá)到“信達(dá)雅”的標(biāo)準(zhǔn),除了給我們留下一個(gè)抽象的概念之外,什么也沒有剩下來。但這一稱呼已被廣為接受,我們也只能“約定俗成”地把“功能”叫做“函數(shù)”了。
? ? ?根據(jù)臺(tái)灣大學(xué)李宏毅博士的說法,所謂機(jī)器學(xué)習(xí),在形式上,可近似等同于在數(shù)據(jù)對(duì)象中,通過統(tǒng)計(jì)或推理的方法,尋找一個(gè)適用特定輸入和預(yù)期輸出功能函數(shù)(如圖2-5所示)。習(xí)慣上,我們把輸入變量寫作大寫的X ,而把輸出變量寫作大寫的Y 。那么所謂的機(jī)器學(xué)習(xí),在形式上,就是完成如下變換:Y= f(X) 。
(轉(zhuǎn)者言:說一千道一萬不如Y= f(X) 管用,一針見血)
?圖2-5 機(jī)器學(xué)習(xí)近似等同于找一個(gè)好用的函數(shù)
? ? ? ?在這樣的函數(shù)中,針對(duì)語音識(shí)別功能,如果輸入一個(gè)音頻信號(hào)X,那么這個(gè)函數(shù)Y就能輸出諸如“你好”,“How are you?”等這類識(shí)別信息。
? ? ? ? 針對(duì)圖片識(shí)別功能,如果輸入的是一個(gè)圖片X,在這個(gè)函數(shù)Y的加工下,就能輸出(或稱識(shí)別出)一個(gè)貓或狗的判定。
? ? ? ? 針對(duì)下棋博弈功能,如果輸入的是一個(gè)圍棋的棋譜局勢(shì)(比如AlphaGO)X,那么Y能輸出這個(gè)圍棋的下一步“最佳”走法。
? ? ? ? 類似地,對(duì)于具備智能交互功能的系統(tǒng)(比如微軟的小冰),當(dāng)我們給這個(gè)函數(shù)X輸入諸如“How are you?”,那么Y就能輸出諸如“I am fine,thank you?”等智能的回應(yīng)。
? ? ? ? 每個(gè)具體的輸入,都是一個(gè)實(shí)例(instance),它通常由特征向量(feature vector)構(gòu)成。在這里,所有特征向量存在的空間稱為特征空間(feature space),特征空間的每一個(gè)維度,對(duì)應(yīng)于實(shí)例的一個(gè)特征。
(轉(zhuǎn)者言:Y= f(X) ,X是多維的(x1,x2,...,xn))
? ? ? ?但問題來了,這樣“好用的”函數(shù)并不那么好找。當(dāng)輸入一個(gè)貓的圖像后,這個(gè)函數(shù)并不一定就能輸出它就是一只貓,可能它會(huì)錯(cuò)誤地輸出為一條狗或一條蛇。
(轉(zhuǎn)者言:單維度函數(shù)比較好求找,但是維度一多函數(shù)就不好找了,如何找呢,我們可以通過機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)去找這樣的函數(shù))
? ? ? ?這樣一來,我們就需要構(gòu)建一個(gè)評(píng)估體系,來辨別函數(shù)的好壞(Goodness)。當(dāng)然,這中間自然需要訓(xùn)練數(shù)據(jù)(training data)來“培養(yǎng)”函數(shù)的好品質(zhì)(如圖6所示)。在第一章中,我們提到,學(xué)習(xí)的核心就是性能改善,在圖6中,通過訓(xùn)練數(shù)據(jù),我們把f1改善為f2的樣子,性能(判定的準(zhǔn)確度)得以改善了,這就是學(xué)習(xí)!很自然,這個(gè)學(xué)習(xí)過程如果是在機(jī)器上完成的,那就是“機(jī)器學(xué)習(xí)”了。
圖2-6 機(jī)器學(xué)習(xí)的三步走?
? ? ? ? ? 具體說來,機(jī)器學(xué)習(xí)要想做得好,需要走好三大步:
(1) 如何找一系列函數(shù)來實(shí)現(xiàn)預(yù)期的功能,這是建模問題。
(2) 如何找出一組合理的評(píng)價(jià)標(biāo)準(zhǔn),來評(píng)估函數(shù)的好壞,這是評(píng)價(jià)問題。
(3) 如何快速找到性能最佳的函數(shù),這是優(yōu)化問題(比如說,機(jī)器學(xué)習(xí)中梯度下降法干的就是這個(gè)活)。
(轉(zhuǎn)者言:如何去找函數(shù),機(jī)器學(xué)習(xí)有機(jī)器學(xué)習(xí)的辦法,深度學(xué)習(xí)有深度學(xué)習(xí)的方法,但是本質(zhì)是一樣的就是找函數(shù)Y= f(X) ,X是多維的(x1,x2,...,xn))
2.4 為什么要用神經(jīng)網(wǎng)絡(luò)?
? ? ? ?我們知道,深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知機(jī)就是一種深度學(xué)習(xí)結(jié)構(gòu)。所以說到深度學(xué)習(xí),就不能不提神經(jīng)網(wǎng)絡(luò)。
? ? ? 那么什么是神經(jīng)網(wǎng)絡(luò)呢?有關(guān)神經(jīng)網(wǎng)絡(luò)的定義有很多。這里我們給出芬蘭計(jì)算機(jī)科學(xué)家Teuvo Kohonen的定義(這老爺子以提出“自組織神經(jīng)網(wǎng)絡(luò)”而名揚(yáng)人工智能領(lǐng)域):“神經(jīng)網(wǎng)絡(luò),是一種由具有自適應(yīng)性的簡單單元構(gòu)成的廣泛并行互聯(lián)的網(wǎng)絡(luò),它的組織結(jié)構(gòu)能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界所作出的交互反應(yīng)?!?/p>
? ? ? ? 提到“神經(jīng)網(wǎng)絡(luò)”,實(shí)際上是指“神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)”。學(xué)習(xí)是大事,不可忘記!
? ? ? ? 那為什么我們要用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)呢?這個(gè)原因說起來,有點(diǎn)“情非得已”。
? ? ? ? 我們知道,在人工智能領(lǐng)域,有兩大主流門派。第一個(gè)門派是符號(hào)主義。符號(hào)主義的理念是,知識(shí)是信息的一種表達(dá)形式,人工智能的核心任務(wù),就是處理好知識(shí)表示、知識(shí)推理和知識(shí)運(yùn)用。這個(gè)門派核心方法論是,自頂向下設(shè)計(jì)規(guī)則,然后通過各種推理,逐步解決問題。很多人工智能的先驅(qū)(比如CMU的赫伯特?西蒙)和邏輯學(xué)家,很喜歡這種方法。但這個(gè)門派的發(fā)展,目前看來并不太好。未來會(huì)不會(huì)“峰回路轉(zhuǎn)”,現(xiàn)在還不好說。
? ? ? ?還有一個(gè)門派,就是試圖編寫一個(gè)通用模型,然后通過數(shù)據(jù)訓(xùn)練,不斷改善模型中的參數(shù),直到輸出的結(jié)果符合預(yù)期,這個(gè)門派就是連接主義。連接主義認(rèn)為,人的思維就是某些神經(jīng)元的組合。因此,可以在網(wǎng)絡(luò)層次上模擬人的認(rèn)知功能,用人腦的并行處理模式,來表征認(rèn)知過程。這種受神經(jīng)科學(xué)的啟發(fā)的網(wǎng)絡(luò),被稱之人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,簡稱ANN)。目前,這個(gè)網(wǎng)絡(luò)的升級(jí)版,就是目前非常流行的深度學(xué)習(xí)。
? ? ? 前面我們提到,機(jī)器學(xué)習(xí)在本質(zhì)就是尋找一個(gè)好用的函數(shù)。而人工神經(jīng)網(wǎng)絡(luò)最“牛逼”的地方在于,它可以在理論上證明:只需一個(gè)包含足夠多神經(jīng)元的隱藏層,多層前饋網(wǎng)絡(luò)能以任意精度逼近任意復(fù)雜度的連續(xù)函數(shù)[4]。這個(gè)定理也被稱之為通用近似定理(Universal Approximation Theorem)。這里的“Universal”,也有人將其翻譯成“萬能的”,由此可見,這個(gè)定理的能量有多大。換句話說,神經(jīng)網(wǎng)絡(luò)可在理論上解決任何問題,這就是目前深度學(xué)習(xí)能夠“牛逼哄哄”最底層的邏輯(當(dāng)然,大數(shù)據(jù)+大計(jì)算也功不可沒,后面還會(huì)繼續(xù)討論)。
(轉(zhuǎn)者言:它可以在理論上證明:只需一個(gè)包含足夠多神經(jīng)元的隱藏層,多層前饋網(wǎng)絡(luò)能以任意精度逼近任意復(fù)雜度的連續(xù)函數(shù)。這個(gè)不正是我們需要的嗎?找函數(shù)。為什么要用神經(jīng)網(wǎng)絡(luò),因?yàn)樗梢院芎玫恼液瘮?shù),而且它可以找到任意復(fù)雜度的連續(xù)函數(shù))
2.5 小結(jié)
? ? ? 在本小節(jié)中,我們首先談了談人工智能的“江湖定位”,然后指出深度學(xué)習(xí)僅僅是人工智能研究的很小的一個(gè)分支,接著我們給出了機(jī)器學(xué)習(xí)的形式化定義。最后我們回答了為什么人工神經(jīng)網(wǎng)絡(luò)能“風(fēng)起云涌”,簡單來說,在理論上可以證明,它能以任意精度逼近任意形式的連續(xù)函數(shù),而機(jī)器學(xué)習(xí)的本質(zhì),不就是要找到一個(gè)好用的函數(shù)嘛?
? ? ?在下小節(jié),我們將深度解讀什么是激活函數(shù),什么是卷積?(很多教科書真是越講越糊涂,希望你看到下一小節(jié),能有所收獲)
(轉(zhuǎn)者言:為什么要用神經(jīng)網(wǎng)絡(luò),因?yàn)樗梢院芎玫恼液瘮?shù),而且它可以找到任意復(fù)雜度的連續(xù)函數(shù)。)
2.6 請(qǐng)你思考
? ? ?學(xué)完前面的知識(shí),請(qǐng)你思考如下問題(掌握思辨能力,好像比知識(shí)本身更重要):
(1)你認(rèn)可庫茲韋爾“到2045年人類的奇點(diǎn)時(shí)刻就會(huì)臨近”的觀點(diǎn)嗎?為什么?庫茲韋爾的預(yù)測(cè),屬于科學(xué)的范疇嗎?(提示:可以從波普爾的科學(xué)評(píng)判的標(biāo)準(zhǔn)——是否具備可證偽性分來析。)
(轉(zhuǎn)者言:哲學(xué)上講,事物是矛盾統(tǒng)一的)
(2)深度學(xué)習(xí)的性能,高度依賴性于訓(xùn)練數(shù)據(jù)量的大小?這個(gè)特性是好還是壞?(提示:在《圣經(jīng)》中有七宗原罪,其中一宗罪就是暴食,而原罪就是“deadly sin”,即死罪。目前,深度學(xué)習(xí)貪吃數(shù)據(jù)和能量,能得以改善嗎?)
(轉(zhuǎn)者言:如何更好的找函數(shù)深度學(xué)習(xí)目前是依賴大數(shù)據(jù)量,肯定會(huì)有其它方法的)
? ? ? 寫下你的心得體會(huì),祝你每天都有進(jìn)步!
三、參考文獻(xiàn)
[1] (美) 雷·庫茲韋爾, 李慶誠等譯. 奇點(diǎn)臨近.機(jī)械工業(yè)出版社.2012.12
2尤瓦爾·赫拉利,未來簡史. 出版社:中信出版社.2017.1
[3] 李航.統(tǒng)計(jì)學(xué)習(xí)方法.清華大學(xué)出版社.2012.3
[4] Hornik K, Stinchcombe M, White H. Multilayer feedforward networks are universal approximators[J]. Neural networks, 1989, 2(5): 359-366.
四、參考
https://developer.aliyun.com/article/88300
總結(jié)
以上是生活随笔為你收集整理的【深度学习之美笔记】人工“碳”索意犹尽,智能“硅”来未可知(入门系列之二)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: oracle放在内存里,oracle如中
- 下一篇: C和C++混合编程(__cplusplu