全連接神經(jīng)網(wǎng)絡(luò)分類器（上）

• 圖像表示
• 1. 多層感知器
• 2. 激活函數(shù)
• • 小結(jié)
• 3. SOFTMAX與交叉熵
• 4. 對(duì)比交叉熵?fù)p失與支撐向量機(jī)損失
• 5. 計(jì)算圖與反向傳播

圖像表示

直接使用原始像素作為特征，展開為列向量
一般分類器均使用此類表示

1. 多層感知器

線性分類器

全連接神經(jīng)網(wǎng)絡(luò)：全連接神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)多個(gè)變化來實(shí)現(xiàn)輸入到輸出的映射。

全連接神經(jīng)網(wǎng)絡(luò)的權(quán)值

全連接神經(jīng)網(wǎng)絡(luò)與線性不可分：
線性可分：

線性不可分：

全連接神經(jīng)網(wǎng)絡(luò)繪制與命名

N層全連接神經(jīng)網(wǎng)絡(luò)–除輸入層之外的其他層的數(shù)量為N的網(wǎng)絡(luò)。
N個(gè)隱層的全連接神經(jīng)網(wǎng)絡(luò)—網(wǎng)絡(luò)隱層的數(shù)量為N的網(wǎng)絡(luò)。

2. 激活函數(shù)

為什么需要非線性操作？
如果網(wǎng)絡(luò)中缺少了激活函數(shù)，全連接神經(jīng)網(wǎng)絡(luò)將變成一個(gè)線性分類器。

常用的激活函數(shù)：

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

用不用隱層，用一個(gè)還是多個(gè)隱層？（深度設(shè)計(jì)）

每一個(gè)而隱層設(shè)計(jì)幾個(gè)神經(jīng)元比較合適？（寬度設(shè)計(jì)）
沒有統(tǒng)一答案。

神經(jīng)元個(gè)數(shù)越多，分界面就越復(fù)雜，在這個(gè)集合上的分類能力就越強(qiáng)。

跟據(jù)分類任務(wù)的難易程度來調(diào)整神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜程度。分類任務(wù)越難，我們?cè)O(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就應(yīng)該越深，越寬。但是，需要注意的是對(duì)訓(xùn)練集的分類精度最高的全連接神經(jīng)網(wǎng)絡(luò)連接模型。在真實(shí)場景下識(shí)別性能未必是最好的。（過擬合）

小結(jié)

• 全連接神經(jīng)網(wǎng)絡(luò)組成：一個(gè)輸入層，一個(gè)輸出層及多個(gè)隱層。
• 輸入層與輸出層的神經(jīng)元個(gè)數(shù)由任務(wù)決定，而隱層數(shù)量及每個(gè)隱層中神經(jīng)元的數(shù)量則需要人為指定。
• 激活函數(shù)是全連接神經(jīng)網(wǎng)絡(luò)中的一個(gè)重要部分，缺少了激活函數(shù)，全連接神經(jīng)網(wǎng)絡(luò)將退化為線性分類器。

3. SOFTMAX與交叉熵

相對(duì)熵也叫KL散度；用來度量兩個(gè)分布之間的不相似性。

交叉熵特殊形式

交叉熵?fù)p失，

4. 對(duì)比交叉熵?fù)p失與支撐向量機(jī)損失

相同分?jǐn)?shù)下兩類分類器的損失有什么區(qū)別？
21777777

5. 計(jì)算圖與反向傳播

什么是計(jì)算圖？
計(jì)算圖是一種有向圖，他用來表達(dá)輸入，輸出以及中間變量之間的計(jì)算關(guān)系，圖中的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)著一種數(shù)學(xué)運(yùn)算。

計(jì)算圖總結(jié)：

任意復(fù)雜的函數(shù)，都可以用計(jì)算圖的形式表示

在整個(gè)計(jì)算圖中，每個(gè)門單元都會(huì)得到一些輸入，然后進(jìn)行下面兩個(gè)計(jì)算：
a. 這個(gè)門的輸出值
b. 其輸出值關(guān)于輸入值的局部梯度。

利用鏈?zhǔn)椒▌t，門單元應(yīng)該將回傳的梯度乘以它對(duì)其的輸入的局部梯度，從而得到整個(gè)網(wǎng)絡(luò)的輸出對(duì)該門單元的每個(gè)輸入值的梯度。

計(jì)算圖的顆粒度：將幾個(gè)單元操作合并為一個(gè)計(jì)算模塊。

計(jì)算圖中常見的門單元：

總結(jié)

以上是生活随笔為你收集整理的全连接神经网络分类器（上）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。