人工神經(jīng)網(wǎng)絡(luò)

• 簡(jiǎn)述
  • 很多術(shù)語(yǔ)聽起來(lái)很唬人，“人工神經(jīng)網(wǎng)絡(luò)”就屬于其中之一。在很多人看來(lái)，我們對(duì)人類的神經(jīng)系統(tǒng)還沒有研究透徹，這就來(lái)了一個(gè)“人工的”神經(jīng)網(wǎng)絡(luò)，人腦這樣復(fù)雜，那么人工神經(jīng)網(wǎng)絡(luò)一定相當(dāng)高深莫測(cè)。如果遇到一個(gè)耐心的學(xué)術(shù)專家，花上一兩個(gè)小時(shí)給你講講人工神經(jīng)網(wǎng)絡(luò)的底細(xì)，那么你會(huì)發(fā)現(xiàn)，就這么回事而已。但是，如果遇到一個(gè)不太耐心或者喜好賣弄的，那么不好意思，你除了對(duì)他肅然起敬剩下的就是“這東西此生與我無(wú)緣了”。
  • 人工神經(jīng)網(wǎng)絡(luò)這個(gè)名詞聽起來(lái)像是用人工的辦法來(lái)模擬人腦，加上他使用了與生物有關(guān)的名詞如“神經(jīng)元”，讓人感覺神秘的同時(shí)又會(huì)聯(lián)想到仿生學(xué)或者認(rèn)知科學(xué)等知識(shí)。但是，除了借用生物學(xué)上的一些名詞，并且做了一些形象的比喻外，人工神經(jīng)網(wǎng)絡(luò)和人腦沒有半點(diǎn)關(guān)系，它的本質(zhì)就是數(shù)據(jù)結(jié)構(gòu)中必定提到的一種概念—有向圖，只不過(guò)這個(gè)有向圖有一點(diǎn)特殊罷了。它的節(jié)點(diǎn)被稱為神經(jīng)元，它的有向弧被稱為連接神經(jīng)元的神經(jīng)。
  • • 如圖，所有的節(jié)點(diǎn)都是分層的，每一層節(jié)點(diǎn)可以通過(guò)有向弧指向下一層的節(jié)點(diǎn)，但是同一層的節(jié)點(diǎn)之間沒有弧連接，而且每一個(gè)節(jié)點(diǎn)不能跨層到達(dá)某個(gè)節(jié)點(diǎn)。圖中只有三層節(jié)點(diǎn)，但是理論上，人工神經(jīng)網(wǎng)絡(luò)的層數(shù)是任意的。但是，實(shí)際應(yīng)用中不會(huì)設(shè)計(jì)超過(guò)5層的網(wǎng)絡(luò)，因?yàn)閷訑?shù)過(guò)多，計(jì)算相當(dāng)復(fù)雜。
    • 每一條弧上有一個(gè)值，稱為權(quán)重或者權(quán)值，根據(jù)這些值可以使用一個(gè)非常簡(jiǎn)單的公式算出它們所指向節(jié)點(diǎn)的值。至于具體如何計(jì)算，暫時(shí)不說(shuō)明。
    • 當(dāng)然，為了方便交流，有一些約定俗成的說(shuō)法。上圖中最左邊第一層被稱為輸入層，因?yàn)樵诟鞣N應(yīng)用中，這個(gè)模型的輸入值只是賦予了這一層節(jié)點(diǎn)，圖中其他節(jié)點(diǎn)的值都是根據(jù)這些輸入值直接或者間接得到的。同樣的，最右邊那一層稱為輸出層，節(jié)點(diǎn)稱為輸出節(jié)點(diǎn)，因?yàn)槲覀兿胍ㄟ^(guò)這個(gè)模型獲得的輸出值都是這一層節(jié)點(diǎn)得到的。當(dāng)然，中間各層被稱為中間層，由于對(duì)外不可見，又叫做隱藏層（隱含層）。
    • 有弧上的值作為參數(shù)，前一層節(jié)點(diǎn)的值作為變量組成一個(gè)計(jì)算下一層節(jié)點(diǎn)值的函數(shù)，稱為神經(jīng)元函數(shù)。
  • 到此，人工神經(jīng)網(wǎng)絡(luò)的原理就講完了，就是這樣一個(gè)很基礎(chǔ)很簡(jiǎn)單的模型卻在如今被廣泛使用。因?yàn)?#xff0c;如今很多人工智能的問(wèn)題其實(shí)本質(zhì)上都是多維空間進(jìn)行模式分類的問(wèn)題，而人工神經(jīng)網(wǎng)絡(luò)最擅長(zhǎng)的就是模式分類。如今，模式分類廣泛使用，如語(yǔ)音識(shí)別。機(jī)器翻譯、人臉識(shí)別、疾病預(yù)測(cè)、股市預(yù)測(cè)等。
• 原理
  • 一個(gè)模式的特征值（如坐標(biāo)），從輸入層開始，按照一定的規(guī)則和公式一層層向后傳遞，最后在輸出層，哪個(gè)節(jié)點(diǎn)數(shù)值最大，輸入的模式就被分在哪一類中。這就是人工神經(jīng)網(wǎng)絡(luò)的基本原理。
  • 在人工神經(jīng)網(wǎng)絡(luò)中，需要設(shè)計(jì)的部分只有兩個(gè)，一個(gè)是它的結(jié)構(gòu)，即網(wǎng)絡(luò)分幾層、每層幾個(gè)節(jié)點(diǎn)、節(jié)點(diǎn)之間如何連接等；第二就是非線性函數(shù)f的設(shè)計(jì)，常用的是指數(shù)函數(shù)。（使用指數(shù)函數(shù)，人工神經(jīng)網(wǎng)絡(luò)的模式分類能力等價(jià)于最大熵模型）。
  • 值得一說(shuō)的是，如果把不同輸出節(jié)點(diǎn)上得到的值看成一種概率分布，那么這個(gè)神經(jīng)網(wǎng)絡(luò)就是一個(gè)概率模型了。
  • 但是，模型的參數(shù)，也就是弧上的權(quán)重是如何得到的呢，其實(shí)，和傳統(tǒng)機(jī)器學(xué)習(xí)模型一樣，也是訓(xùn)練得到的。
  • 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練也分為有監(jiān)督訓(xùn)練和無(wú)監(jiān)督訓(xùn)練。對(duì)于成本函數(shù)的設(shè)計(jì)這里不多敘述。對(duì)于復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)，訓(xùn)練計(jì)算量是非常巨大的，而且這還是一個(gè)NP-complete問(wèn)題，因此很多機(jī)器學(xué)習(xí)專家投入其中尋找優(yōu)秀的近似方法。
• 與貝葉斯網(wǎng)絡(luò)的關(guān)系
  • 其實(shí)，從圖上看來(lái)，人工神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)十分類似，對(duì)于上面的那個(gè)有向圖，說(shuō)是貝葉斯網(wǎng)絡(luò)也完全正確
  • 它們有很多共同之處。
    • 都是有向圖，每一個(gè)節(jié)點(diǎn)的取值只取決于前一級(jí)的節(jié)點(diǎn)，與更前面的節(jié)點(diǎn)無(wú)關(guān)，也就是遵循馬爾可夫假設(shè)。
    • 訓(xùn)練方法類似，且訓(xùn)練計(jì)算量都很大。使用人工神經(jīng)網(wǎng)絡(luò)是要有訓(xùn)練等待的準(zhǔn)備。
    • 對(duì)于很多模式分類問(wèn)題，效果上類似，兩者都能解決，但是，效率不同。如果都看成統(tǒng)計(jì)模型，準(zhǔn)確性也是類似的。
  • 它們有很多不同之處。
    • 人工神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是完全標(biāo)準(zhǔn)化的，而貝葉斯網(wǎng)絡(luò)很靈活。有利有弊。
    • 雖然神經(jīng)元函數(shù)為非線性函數(shù)，但是各個(gè)變量只能先進(jìn)行線性組合，最后對(duì)一個(gè)變量（即前面組合出來(lái)的結(jié)果）進(jìn)行非線性變換，因此計(jì)算機(jī)實(shí)現(xiàn)容易。而在貝葉斯網(wǎng)絡(luò)中，變量可以組合成任意的函數(shù)，毫無(wú)限制，獲得靈活性的同時(shí)大大加大了復(fù)雜性。
    • 貝葉斯網(wǎng)絡(luò)更容易考慮上下文前后的相關(guān)性，因此可以解碼一個(gè)輸入的序列，比如將一段語(yǔ)音識(shí)別為文字。而人工神經(jīng)網(wǎng)絡(luò)的輸出相對(duì)孤立，它可以識(shí)別一個(gè)個(gè)字，但很難處理一個(gè)序列，因此它主要的應(yīng)用常常是估計(jì)一個(gè)概率模型的參數(shù)，比如機(jī)器翻譯中語(yǔ)言模型參數(shù)的訓(xùn)練等，而不是作為一個(gè)解碼器。
• 補(bǔ)充說(shuō)明
  • 這部分有趣的數(shù)學(xué)解釋可以查看吳軍的《數(shù)學(xué)之美》。
  • 如果你真的對(duì)神經(jīng)網(wǎng)絡(luò)感興趣，尤其是對(duì)卷積神經(jīng)網(wǎng)絡(luò)感興趣，那么不妨看看這本《深度學(xué)習(xí)之PyTorch實(shí)戰(zhàn)計(jì)算機(jī)視覺》，我的下載區(qū)提供了下載，這雖然是講PyTorch的書，但是前面一半幾乎都是在詳細(xì)講解神經(jīng)網(wǎng)絡(luò)的構(gòu)成和搭建，是我所見的為數(shù)不多的能把神經(jīng)網(wǎng)絡(luò)講明白的書。（前提你有一定的線性代數(shù)基礎(chǔ)）
  • 上面書籍下載僅供試讀，不得用于商業(yè)用途，侵刪。

總結(jié)

以上是生活随笔為你收集整理的深度学习-人工神经网络概述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。