【深度学习之美笔记】人工“碳”索意犹尽，智能“硅”来未可知（入门系列之二）
目錄
一、前言
二、深度學(xué)習(xí)再認(rèn)識(shí)
2.1 人工智能的“江湖定位”
?2.2 深度學(xué)習(xí)的歸屬
2.3.機(jī)器學(xué)習(xí)的形式化定義
2.4 為什么要用神經(jīng)網(wǎng)絡(luò)？
2.5 小結(jié)
2.6 請(qǐng)你思考
三、參考文獻(xiàn)
四、參考
一、前言
? ? ? ?在前面的小節(jié)中，我們僅僅泛泛而談了機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等概念，在這一小節(jié)，我們將給出它的更加準(zhǔn)確的形式化描述。
? ? ? ?我們經(jīng)常聽到人工智能如何如何？深度學(xué)習(xí)怎樣怎樣？那么它們之間有什么關(guān)系呢？在本小節(jié)，我們首先從宏觀上談?wù)勅斯ぶ悄艿摹敖ㄎ弧焙蜕疃葘W(xué)習(xí)的歸屬。然后再在微觀上聊聊機(jī)器學(xué)習(xí)的數(shù)學(xué)本質(zhì)是什么？以及我們?yōu)槭裁匆蒙窠?jīng)網(wǎng)絡(luò)？
? ? ?（轉(zhuǎn)者言：找到數(shù)學(xué)本質(zhì)可以更好的理解，事物的本質(zhì)用數(shù)學(xué)描述往往很直觀）
二、深度學(xué)習(xí)再認(rèn)識(shí)
2.1 人工智能的“江湖定位”
? ? ? ? 宏觀上來看，?人類科學(xué)和技術(shù)的發(fā)展，大致都遵循著這樣的規(guī)律：現(xiàn)象觀察、理論提取和人工模擬（或重現(xiàn)）。?人類“觀察大腦”的歷史由來已久，但由于對(duì)大腦缺乏“深入認(rèn)識(shí)”，常常“絞盡腦汁”，也難以“重現(xiàn)大腦”。
? ? ? ?直到上個(gè)世紀(jì)40年代以后，腦科學(xué)、神經(jīng)科學(xué)、心理學(xué)及計(jì)算機(jī)科學(xué)等眾多學(xué)科，取得了一系列重要進(jìn)展，使得人們對(duì)大腦的認(rèn)識(shí)相對(duì)“深入”，從而為科研人員從“觀察大腦”到“重現(xiàn)大腦”搭起了橋梁，哪怕這個(gè)橋梁到現(xiàn)在還僅僅是個(gè)并不堅(jiān)固的浮橋。
? ? ? （轉(zhuǎn)者言：對(duì)腦結(jié)構(gòu)和神經(jīng)科學(xué)的進(jìn)一步研究，觸發(fā)了深度學(xué)習(xí)的發(fā)展。有了腦結(jié)構(gòu)和神經(jīng)元的結(jié)構(gòu)，我們可以基于這個(gè)去模擬大腦。事物的結(jié)構(gòu)很重要。）
?
圖2-1 人工智能的本質(zhì)
? ? ? ?而所謂的“重現(xiàn)大腦”，在某種程度上，就是目前的研究熱點(diǎn)——人工智能。簡單來講，人工智能就是為機(jī)器賦予人類的智能。由于目前的機(jī)器核心部件是由晶體硅構(gòu)成，所以可稱之為“硅基大腦”。而人類的大腦主要由碳水化合物構(gòu)成，因此可稱之為“碳基大腦”。
（轉(zhuǎn)者言：結(jié)構(gòu)很重要，具體由什么組成可以有差異）
? ? ? ? 那么，?現(xiàn)在的人工智能，通俗來講，大致就是用“硅基大腦”模擬或重現(xiàn)“碳基大腦”。?那么，在未來會(huì)不會(huì)出現(xiàn)“碳硅合一”的大腦或者全面超越人腦的“硅基大腦”呢？
（轉(zhuǎn)者言：硅基大腦也處于發(fā)展當(dāng)中和人類的大腦一樣，它處于發(fā)展當(dāng)中，具體進(jìn)化到什么程度，現(xiàn)在也沒人知道，但是值得我們警惕。）
? ? ? ? 有人就認(rèn)為，在很大程度上，這個(gè)答案可能是“會(huì)的”！比如說，未來預(yù)言大師雷·庫茲韋爾（Ray Kurzweil）就預(yù)測(cè)，到2045年，人類的“奇點(diǎn)”時(shí)刻就會(huì)臨近[1] 。這里的“奇點(diǎn)”是指，人類與其他物種（物體）的相互融合，更確切來說，是硅基智能與碳基智能兼容的那個(gè)奇妙時(shí)刻。
（轉(zhuǎn)者言：目前已經(jīng)在融合了，比如我們使用它不就是一種融合，融合也在不斷發(fā)展當(dāng)中，具體融合到什么程度，現(xiàn)在也沒人知道）
?2.2 深度學(xué)習(xí)的歸屬
? ? ? ?在當(dāng)下，雖然深度學(xué)習(xí)領(lǐng)跑人工智能。但事實(shí)上，人工智能研究領(lǐng)域很廣，包括機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、專家系統(tǒng)、規(guī)劃與推理、語音識(shí)別、自然語音處理和機(jī)器人等。而機(jī)器學(xué)習(xí)又包括深度學(xué)習(xí)、監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等。簡單來講，機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法，而深度學(xué)習(xí)僅僅是實(shí)現(xiàn)機(jī)器學(xué)習(xí)的一種技術(shù)而已（如圖2-2所示）。
?
圖2-2 深度學(xué)習(xí)的“江湖地位”
? ? ? ?需要說明的是，對(duì)人工智能做任何形式的劃分，都可能是有缺陷的。在圖2中，人工智能的各類技術(shù)分支，彼此涇渭分明，但實(shí)際上，它們之間卻可能阡陌縱橫，比如說深度學(xué)習(xí)是無監(jiān)督的。語音識(shí)別可以用深度學(xué)習(xí)的方法來完成。再比如說，圖像識(shí)別、機(jī)器視覺更是當(dāng)前深度學(xué)習(xí)的拿手好戲。
? ? ? ? ?一言蔽之，?人工智能的分支并不是一個(gè)有序的樹，而是一個(gè)彼此纏繞的灌木叢。?有時(shí)候，一個(gè)分藤蔓比另一個(gè)分藤蔓生長得快，并且處于顯要地位，那么它就是當(dāng)時(shí)的研究熱點(diǎn)。深度學(xué)習(xí)的前生——神經(jīng)網(wǎng)絡(luò)的發(fā)展，就是這樣的幾起幾落。當(dāng)下，深度學(xué)習(xí)如日中天，但會(huì)不會(huì)也有“虎落平陽被犬欺”的一天呢？從事物的發(fā)展規(guī)律來看，這一天肯定會(huì)到來！
（轉(zhuǎn)者言：這個(gè)圖不好，個(gè)人認(rèn)為機(jī)器學(xué)習(xí)包括深度學(xué)習(xí)只是一種方法可以看成一種數(shù)學(xué)方法，它可以解決好多業(yè)務(wù)問題比如語音識(shí)別，文本識(shí)別等。）
? ? ? ? 在圖2-3中，既然我們把深度學(xué)習(xí)和傳統(tǒng)的監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)單列出來，自然是有一定道理的。這就是因?yàn)?#xff0c;深度學(xué)習(xí)是高度數(shù)據(jù)依賴型的算法，它的性能通常隨著數(shù)據(jù)量的增加而不斷增強(qiáng)，也就是說它的可擴(kuò)展性（Scalability）顯著優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法（如圖2-3所示）。
?
圖2-3 深度學(xué)習(xí)和傳統(tǒng)學(xué)習(xí)算法的區(qū)別
? ? ? ? 但如果訓(xùn)練數(shù)據(jù)比較少，深度學(xué)習(xí)的性能并不見得就比傳統(tǒng)機(jī)器學(xué)習(xí)好。其潛在的原因在于，作為復(fù)雜系統(tǒng)代表的深度學(xué)習(xí)算法，只有數(shù)據(jù)量足夠多，才能通過訓(xùn)練，在深度神經(jīng)網(wǎng)絡(luò)中，“恰如其分”地將把蘊(yùn)含于數(shù)據(jù)之中的復(fù)雜模式表征出來。
（轉(zhuǎn)者言：深度學(xué)習(xí)是復(fù)雜的函數(shù)，所以它需要更多的數(shù)據(jù)點(diǎn)去求解參數(shù)，比如直線求解需要2個(gè)點(diǎn)，拋物線求解需要三個(gè)點(diǎn)。網(wǎng)絡(luò)層數(shù)越多說明函數(shù)越復(fù)雜，就需要更多的數(shù)據(jù)點(diǎn)。但是原始問題有多么復(fù)雜這是個(gè)定量，就需要我們調(diào)整我們函數(shù)的復(fù)雜度。如果是直線問題，你非用拋物線問題去求解，這個(gè)誤差就大了哦。）
不論機(jī)器學(xué)習(xí)，還是它的特例深度學(xué)習(xí)，在大致上，都存在兩個(gè)層面的分析（如圖2-4所示）：
?
圖2-4 機(jī)器學(xué)習(xí)的兩層作用
（1）面向過去（對(duì)收集到的歷史數(shù)據(jù)，用作訓(xùn)練），發(fā)現(xiàn)潛藏在數(shù)據(jù)之下的模式，我們稱之為描述性分析（Descriptive Analysis）；
（2）面向未來，基于已經(jīng)構(gòu)建的模型，對(duì)于新輸入數(shù)據(jù)對(duì)象實(shí)施預(yù)測(cè)，我們稱之為預(yù)測(cè)性分析（Predictive Analysis）。
? ? ? 前者主要使用了“歸納”，而后者更側(cè)重于“演繹”。對(duì)歷史對(duì)象的歸納，可以讓人們獲得新洞察、新知識(shí)，而對(duì)新對(duì)象實(shí)施演繹和預(yù)測(cè)，可以使機(jī)器更加智能，或者說讓機(jī)器的某些性能得以提高。二者相輔相成，均不可或缺。
（轉(zhuǎn)者言：還是要直線求解來說明，面向過去就是輸入用于求解直線的2個(gè)坐標(biāo)x能得出對(duì)應(yīng)的y坐標(biāo)，面向未來就是輸入任意的x坐標(biāo)都得出一個(gè)y坐標(biāo)。）
? ? ?在前面的部分，我們給予機(jī)器學(xué)習(xí)的概念性描述，下面我們給出機(jī)器學(xué)習(xí)的形式化定義。
2.3.機(jī)器學(xué)習(xí)的形式化定義
? ? ? ?在《未來簡史》一書中[2]，尤瓦爾?赫拉利說，根據(jù)數(shù)據(jù)主義的觀點(diǎn)，人工智能實(shí)際上就是找到一種高效的“電子算法”，用以代替或在某項(xiàng)指標(biāo)上超越人類的“生物算法”。那么，任何一個(gè)“電子算法”都要實(shí)現(xiàn)一定的功能（Function），才有意義。
? ? ?在計(jì)算機(jī)術(shù)語中，中文將“Function”翻譯成“函數(shù)”，這個(gè)多少有點(diǎn)扯淡，因?yàn)樗姆g并沒有達(dá)到“信達(dá)雅”的標(biāo)準(zhǔn)，除了給我們留下一個(gè)抽象的概念之外，什么也沒有剩下來。但這一稱呼已被廣為接受，我們也只能“約定俗成”地把“功能”叫做“函數(shù)”了。
? ? ?根據(jù)臺(tái)灣大學(xué)李宏毅博士的說法，所謂機(jī)器學(xué)習(xí)，在形式上，可近似等同于在數(shù)據(jù)對(duì)象中，通過統(tǒng)計(jì)或推理的方法，尋找一個(gè)適用特定輸入和預(yù)期輸出功能函數(shù)（如圖2-5所示）。習(xí)慣上，我們把輸入變量寫作大寫的X ，而把輸出變量寫作大寫的Y 。那么所謂的機(jī)器學(xué)習(xí)，在形式上，就是完成如下變換：Y= f(X) 。
（轉(zhuǎn)者言：說一千道一萬不如Y= f(X) 管用，一針見血）
?圖2-5 機(jī)器學(xué)習(xí)近似等同于找一個(gè)好用的函數(shù)
? ? ? ?在這樣的函數(shù)中，針對(duì)語音識(shí)別功能，如果輸入一個(gè)音頻信號(hào)X，那么這個(gè)函數(shù)Y就能輸出諸如“你好”，“How are you？”等這類識(shí)別信息。
? ? ? ? 針對(duì)圖片識(shí)別功能，如果輸入的是一個(gè)圖片X，在這個(gè)函數(shù)Y的加工下，就能輸出（或稱識(shí)別出）一個(gè)貓或狗的判定。
? ? ? ? 針對(duì)下棋博弈功能，如果輸入的是一個(gè)圍棋的棋譜局勢(shì)（比如AlphaGO）X，那么Y能輸出這個(gè)圍棋的下一步“最佳”走法。
? ? ? ? 類似地，對(duì)于具備智能交互功能的系統(tǒng)（比如微軟的小冰），當(dāng)我們給這個(gè)函數(shù)X輸入諸如“How are you？”，那么Y就能輸出諸如“I am fine，thank you？”等智能的回應(yīng)。
? ? ? ? 每個(gè)具體的輸入，都是一個(gè)實(shí)例（instance），它通常由特征向量（feature vector）構(gòu)成。在這里，所有特征向量存在的空間稱為特征空間（feature space），特征空間的每一個(gè)維度，對(duì)應(yīng)于實(shí)例的一個(gè)特征。
（轉(zhuǎn)者言：Y= f(X) ，X是多維的(x1,x2,...,xn)）
? ? ? ?但問題來了，這樣“好用的”函數(shù)并不那么好找。當(dāng)輸入一個(gè)貓的圖像后，這個(gè)函數(shù)并不一定就能輸出它就是一只貓，可能它會(huì)錯(cuò)誤地輸出為一條狗或一條蛇。
（轉(zhuǎn)者言：單維度函數(shù)比較好求找，但是維度一多函數(shù)就不好找了，如何找呢，我們可以通過機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)去找這樣的函數(shù)）
? ? ? ?這樣一來，我們就需要構(gòu)建一個(gè)評(píng)估體系，來辨別函數(shù)的好壞（Goodness）。當(dāng)然，這中間自然需要訓(xùn)練數(shù)據(jù)（training data）來“培養(yǎng)”函數(shù)的好品質(zhì)（如圖6所示）。在第一章中，我們提到，學(xué)習(xí)的核心就是性能改善，在圖6中，通過訓(xùn)練數(shù)據(jù)，我們把f1改善為f2的樣子，性能（判定的準(zhǔn)確度）得以改善了，這就是學(xué)習(xí)！很自然，這個(gè)學(xué)習(xí)過程如果是在機(jī)器上完成的，那就是“機(jī)器學(xué)習(xí)”了。
圖2-6 機(jī)器學(xué)習(xí)的三步走?
? ? ? ? ? 具體說來，機(jī)器學(xué)習(xí)要想做得好，需要走好三大步：
（1） 如何找一系列函數(shù)來實(shí)現(xiàn)預(yù)期的功能，這是建模問題。
（2） 如何找出一組合理的評(píng)價(jià)標(biāo)準(zhǔn)，來評(píng)估函數(shù)的好壞，這是評(píng)價(jià)問題。
（3） 如何快速找到性能最佳的函數(shù)，這是優(yōu)化問題（比如說，機(jī)器學(xué)習(xí)中梯度下降法干的就是這個(gè)活）。
（轉(zhuǎn)者言：如何去找函數(shù)，機(jī)器學(xué)習(xí)有機(jī)器學(xué)習(xí)的辦法，深度學(xué)習(xí)有深度學(xué)習(xí)的方法，但是本質(zhì)是一樣的就是找函數(shù)Y= f(X) ，X是多維的(x1,x2,...,xn)）
2.4 為什么要用神經(jīng)網(wǎng)絡(luò)？
? ? ? ?我們知道，深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知機(jī)就是一種深度學(xué)習(xí)結(jié)構(gòu)。所以說到深度學(xué)習(xí)，就不能不提神經(jīng)網(wǎng)絡(luò)。
? ? ? 那么什么是神經(jīng)網(wǎng)絡(luò)呢？有關(guān)神經(jīng)網(wǎng)絡(luò)的定義有很多。這里我們給出芬蘭計(jì)算機(jī)科學(xué)家Teuvo Kohonen的定義（這老爺子以提出“自組織神經(jīng)網(wǎng)絡(luò)”而名揚(yáng)人工智能領(lǐng)域）：“神經(jīng)網(wǎng)絡(luò)，是一種由具有自適應(yīng)性的簡單單元構(gòu)成的廣泛并行互聯(lián)的網(wǎng)絡(luò)，它的組織結(jié)構(gòu)能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界所作出的交互反應(yīng)?！?/p>
? ? ? ? 提到“神經(jīng)網(wǎng)絡(luò)”，實(shí)際上是指“神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)”。學(xué)習(xí)是大事，不可忘記！
? ? ? ? 那為什么我們要用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)呢？這個(gè)原因說起來，有點(diǎn)“情非得已”。
? ? ? ? 我們知道，在人工智能領(lǐng)域，有兩大主流門派。第一個(gè)門派是符號(hào)主義。符號(hào)主義的理念是，知識(shí)是信息的一種表達(dá)形式，人工智能的核心任務(wù)，就是處理好知識(shí)表示、知識(shí)推理和知識(shí)運(yùn)用。這個(gè)門派核心方法論是，自頂向下設(shè)計(jì)規(guī)則，然后通過各種推理，逐步解決問題。很多人工智能的先驅(qū)（比如CMU的赫伯特?西蒙）和邏輯學(xué)家，很喜歡這種方法。但這個(gè)門派的發(fā)展，目前看來并不太好。未來會(huì)不會(huì)“峰回路轉(zhuǎn)”，現(xiàn)在還不好說。
? ? ? ?還有一個(gè)門派，就是試圖編寫一個(gè)通用模型，然后通過數(shù)據(jù)訓(xùn)練，不斷改善模型中的參數(shù)，直到輸出的結(jié)果符合預(yù)期，這個(gè)門派就是連接主義。連接主義認(rèn)為，人的思維就是某些神經(jīng)元的組合。因此，可以在網(wǎng)絡(luò)層次上模擬人的認(rèn)知功能，用人腦的并行處理模式，來表征認(rèn)知過程。這種受神經(jīng)科學(xué)的啟發(fā)的網(wǎng)絡(luò)，被稱之人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，簡稱ANN）。目前，這個(gè)網(wǎng)絡(luò)的升級(jí)版，就是目前非常流行的深度學(xué)習(xí)。
? ? ? 前面我們提到，機(jī)器學(xué)習(xí)在本質(zhì)就是尋找一個(gè)好用的函數(shù)。而人工神經(jīng)網(wǎng)絡(luò)最“牛逼”的地方在于，它可以在理論上證明：只需一個(gè)包含足夠多神經(jīng)元的隱藏層，多層前饋網(wǎng)絡(luò)能以任意精度逼近任意復(fù)雜度的連續(xù)函數(shù)[4]。這個(gè)定理也被稱之為通用近似定理（Universal Approximation Theorem）。這里的“Universal”，也有人將其翻譯成“萬能的”，由此可見，這個(gè)定理的能量有多大。換句話說，神經(jīng)網(wǎng)絡(luò)可在理論上解決任何問題，這就是目前深度學(xué)習(xí)能夠“牛逼哄哄”最底層的邏輯（當(dāng)然，大數(shù)據(jù)+大計(jì)算也功不可沒，后面還會(huì)繼續(xù)討論）。
（轉(zhuǎn)者言：它可以在理論上證明：只需一個(gè)包含足夠多神經(jīng)元的隱藏層，多層前饋網(wǎng)絡(luò)能以任意精度逼近任意復(fù)雜度的連續(xù)函數(shù)。這個(gè)不正是我們需要的嗎？找函數(shù)。為什么要用神經(jīng)網(wǎng)絡(luò)，因?yàn)樗梢院芎玫恼液瘮?shù)，而且它可以找到任意復(fù)雜度的連續(xù)函數(shù)）
2.5 小結(jié)
? ? ? 在本小節(jié)中，我們首先談了談人工智能的“江湖定位”，然后指出深度學(xué)習(xí)僅僅是人工智能研究的很小的一個(gè)分支，接著我們給出了機(jī)器學(xué)習(xí)的形式化定義。最后我們回答了為什么人工神經(jīng)網(wǎng)絡(luò)能“風(fēng)起云涌”，簡單來說，在理論上可以證明，它能以任意精度逼近任意形式的連續(xù)函數(shù)，而機(jī)器學(xué)習(xí)的本質(zhì)，不就是要找到一個(gè)好用的函數(shù)嘛？
? ? ?在下小節(jié)，我們將深度解讀什么是激活函數(shù)，什么是卷積？（很多教科書真是越講越糊涂，希望你看到下一小節(jié)，能有所收獲）
（轉(zhuǎn)者言：為什么要用神經(jīng)網(wǎng)絡(luò)，因?yàn)樗梢院芎玫恼液瘮?shù)，而且它可以找到任意復(fù)雜度的連續(xù)函數(shù)。）
2.6 請(qǐng)你思考
? ? ?學(xué)完前面的知識(shí)，請(qǐng)你思考如下問題（掌握思辨能力，好像比知識(shí)本身更重要）：
（1）你認(rèn)可庫茲韋爾“到2045年人類的奇點(diǎn)時(shí)刻就會(huì)臨近”的觀點(diǎn)嗎？為什么？庫茲韋爾的預(yù)測(cè)，屬于科學(xué)的范疇嗎？（提示：可以從波普爾的科學(xué)評(píng)判的標(biāo)準(zhǔn)——是否具備可證偽性分來析。）
（轉(zhuǎn)者言：哲學(xué)上講，事物是矛盾統(tǒng)一的）
（2）深度學(xué)習(xí)的性能，高度依賴性于訓(xùn)練數(shù)據(jù)量的大小？這個(gè)特性是好還是壞？（提示：在《圣經(jīng)》中有七宗原罪，其中一宗罪就是暴食，而原罪就是“deadly sin”，即死罪。目前，深度學(xué)習(xí)貪吃數(shù)據(jù)和能量，能得以改善嗎？）
（轉(zhuǎn)者言：如何更好的找函數(shù)深度學(xué)習(xí)目前是依賴大數(shù)據(jù)量，肯定會(huì)有其它方法的）
? ? ? 寫下你的心得體會(huì)，祝你每天都有進(jìn)步！
三、參考文獻(xiàn)
[1] (美) 雷·庫茲韋爾, 李慶誠等譯. 奇點(diǎn)臨近.機(jī)械工業(yè)出版社.2012.12
2尤瓦爾·赫拉利，未來簡史. 出版社：中信出版社.2017.1
[3] 李航.統(tǒng)計(jì)學(xué)習(xí)方法.清華大學(xué)出版社.2012.3
[4] Hornik K, Stinchcombe M, White H. Multilayer feedforward networks are universal approximators[J]. Neural networks, 1989, 2(5): 359-366.
四、參考
https://developer.aliyun.com/article/88300
總結(jié)
以上是生活随笔為你收集整理的【深度学习之美笔记】人工“碳”索意犹尽，智能“硅”来未可知（入门系列之二）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： oracle放在内存里,oracle如中
- 下一篇： C和C++混合编程(__cplusplu