5.1 神經(jīng)元模型

• 神經(jīng)網(wǎng)絡(luò)（neural networks）方面的研究很早就已經(jīng)出現(xiàn)，今天“神經(jīng)網(wǎng)絡(luò)”已經(jīng)是一個(gè)相當(dāng)大的，多學(xué)科交叉的學(xué)科領(lǐng)域，各相關(guān)學(xué)科對神經(jīng)網(wǎng)絡(luò)的定義多種多樣，本書采用目前使用最廣泛的一種，即“神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣發(fā)并行的互聯(lián)網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實(shí)物體所作出的交互式的反應(yīng)”。我們在機(jī)器學(xué)習(xí)中談?wù)撋窠?jīng)網(wǎng)絡(luò)指的是“神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)”，或者是，是機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)這兩個(gè)學(xué)科的交叉的部分

• 神經(jīng)網(wǎng)絡(luò)中最基本的成分是“神經(jīng)元”模型，即上述定義的簡單單元。在生物神經(jīng)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元和其他的神經(jīng)元相連，當(dāng)他“興奮”的時(shí)候，就會(huì)向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元的電位。如果某種神經(jīng)元的電位超過了一個(gè)閾值（threshold），那么他就會(huì)被激活。即“興奮”起來，向其他的神經(jīng)元發(fā)送化學(xué)物質(zhì)

• 1943年，McCulloch and Pitts將上述的情形抽象為圖5.1所示的簡單模型，這就是一直沿用至今的“M-P神經(jīng)元模型”，在這個(gè)模型中，神經(jīng)元接受來自n個(gè)其他神經(jīng)元傳遞過來的輸入信號，這些輸入信號通過帶權(quán)重的連接（connection）進(jìn)行傳遞，神經(jīng)元接收到的總輸入值將和神經(jīng)元的閾值進(jìn)行比較，然后通過“激活函數(shù)”處理以產(chǎn)生神經(jīng)元的輸出。
  

• 理想中德軍ihuo函數(shù)是圖5.2的階躍函數(shù)，它將對應(yīng)的輸入值對應(yīng)為0或者是1.顯然1對應(yīng)神經(jīng)元興奮，0對應(yīng)于神經(jīng)元抑制。然而階躍函數(shù)具有不連續(xù)，不光滑等不太友好的性質(zhì)。因此實(shí)際上我們用Sigmoid作為激活函數(shù)，典型的Sigmoid函數(shù)如下圖所示。它可以將較大范圍變化的輸入值壓縮在（0，1）的輸出范圍之內(nèi)。因此有時(shí)候也叫擠壓函數(shù)
  

• 將許多這樣的神經(jīng)元按照一定的層次結(jié)構(gòu)連接起來，就得到了神經(jīng)網(wǎng)絡(luò)

• 事實(shí)上，從計(jì)算機(jī)科學(xué)的角度來看，我們可以先不考慮神經(jīng)網(wǎng)絡(luò)是否真的模擬了生物神經(jīng)網(wǎng)絡(luò)，只需要將一個(gè)神經(jīng)網(wǎng)絡(luò)視作為包含了很多參數(shù)的數(shù)學(xué)模型，這個(gè)模型是若干個(gè)函數(shù)，例如yj = f（求和（wixi -誰他j））相互嵌套帶入而得，有效的為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法大多以數(shù)學(xué)證明為支撐

• 例如10個(gè)神經(jīng)網(wǎng)絡(luò)兩兩連接，則有100個(gè)參數(shù)；90個(gè)連接權(quán)和10個(gè)閾值

總結(jié)

以上是生活随笔為你收集整理的5.1 神经元模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。