CNN結(jié)構(gòu)：

卷積層：特征提取；
采樣層：特征選擇；
全連接層：根據(jù)特征進(jìn)行分類(lèi)。

采樣層（pooling）:

max-pooling：克服卷積層權(quán)值參數(shù)誤差；
average-pooling：克服卷積核鄰域大小受限。

全連接層（Fully Connected Layer）：

全連接層（FC） 可以看為和上一個(gè)采樣層（pooling） 中存在一個(gè)卷積操作。如：上一個(gè)采樣層維數(shù)為3*3*5，而全連接層維數(shù)為1*4096。那么中間可以看做存在一個(gè)3*3*5*4096的卷積層進(jìn)行了卷積操作。

這一步操作相當(dāng)于把前面提取出的分布式特征映射到樣本標(biāo)記空間。即忽略特征之間的相對(duì)位置信息（空間結(jié)構(gòu)特性），把所有特征整合到一起輸出為一個(gè)值。

FC 的層數(shù)越多，越能表達(dá)非線性問(wèn)題。但由于參數(shù)量大，會(huì)降低學(xué)習(xí)效率。因此，新提出的網(wǎng)絡(luò)模型如 ResNet 和 GoogLeNet 采用全局平均池化（global average pooling，GAP）取代 FC 來(lái)融合學(xué)習(xí)到的特征，這樣得到的網(wǎng)絡(luò)通常具有更好的預(yù)測(cè)性能。

Zero-padding作用：

方便提取更加細(xì)致的特征；

控制卷積層輸出的特征圖的大小，達(dá)到控制網(wǎng)絡(luò)結(jié)構(gòu)的作用。

激活函數(shù)：

在CNN中激活函數(shù)的引入，為了解決以下幾個(gè)問(wèn)題：

通過(guò)疊加簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，無(wú)法解決非線性分類(lèi)問(wèn)題；

在CNN中需要根據(jù)神經(jīng)網(wǎng)絡(luò)輸出值進(jìn)行分類(lèi)；

誤差反向傳播時(shí)，X過(guò)大會(huì)導(dǎo)致error過(guò)大，這樣更新權(quán)值沒(méi)有意義；

線性分類(lèi)器在誤差反向傳播過(guò)程中，梯度的計(jì)算和輸入無(wú)關(guān)。

因此激活函數(shù)的引入有如下作用：

提高模型魯棒性；

使網(wǎng)絡(luò)具有非線性表達(dá)能力；

緩解梯度消失問(wèn)題；

將特征圖映射到新的特征空間有利于訓(xùn)練；

加速模型收斂。

Dropout要點(diǎn)：

Dropout_rate一般設(shè)置為0.3~0.5之間。
在訓(xùn)練時(shí)要對(duì)沒(méi)有被Dropout的神經(jīng)元權(quán)值做一個(gè)rescale：
$$rescale\_rate=\frac{1}{1?dropout\_rate}$$
因此訓(xùn)練過(guò)程中前向傳播公式可以寫(xiě)為：
$$r^{(l)}=Bernoulli(p)$$
$${\tilde{y}}^{(l)}=r^{(l)}?y^{(l)}$$
$$Z_i^{(l+1)}=W_i^{l+1}?{\tilde{y}}^{(l)}+b_i^{l+1}$$
$$y_i^{(l+1)}=f(z_i^{(l+1)})$$

總結(jié)

以上是生活随笔為你收集整理的卷积神经网络CNN要点：CNN结构、采样层、全连接层、Zero-padding、激活函数及Dropout的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。