GoogLeNet是2014年 ILSVRC 冠軍模型，top-5 錯誤率 6.7% ，GoogLeNet做了更大膽的網(wǎng)絡上的嘗試而不像vgg繼承了lenet以及alexnet的一些框架，該模型雖然有22層，但參數(shù)量只有AlexNet的1/12。

GoogLeNet論文指出獲得高質量模型最保險的做法就是增加模型的深度（層數(shù)）或者是其寬度（層核或者神經(jīng)元數(shù)），但是一般情況下更深或更寬的網(wǎng)絡會出現(xiàn)以下問題：
1. 參數(shù)太多，容易過擬合，若訓練數(shù)據(jù)集有限，這一問題更加突出；
2. 網(wǎng)絡越大計算復雜度越大，難以應用；
3. 網(wǎng)絡越深，梯度越往后穿越容易消失，難以優(yōu)化模型;
總結起來就是更大的網(wǎng)絡容易產(chǎn)生過擬合并且增加了計算量。針對這兩點，GoogLeNet認為根本方法是將全連接甚至一般的卷積都轉化為稀疏連接。傳統(tǒng)的網(wǎng)絡使用了隨機稀疏連接，而計算機軟硬件對非均勻稀疏數(shù)據(jù)的計算效率很低。

基于保持神經(jīng)網(wǎng)絡結構的稀疏性，又能充分利用密集矩陣的高計算性能的出發(fā)點，GoogleNet提出了名為Inception的模塊化結構來實現(xiàn)此目的。依據(jù)是大量的文獻表明可以將稀疏矩陣聚類為較為密集的子矩陣來提高計算性能。

Inception是一種網(wǎng)中網(wǎng)（Network In Network）的結構，即原來的結點也是一個網(wǎng)絡。Inception一直在不斷發(fā)展，目前已經(jīng)V2、V3、V4了。Inception的結構如圖所示，其中1*1卷積主要用來降維，用了Inception之后整個網(wǎng)絡結構的寬度和深度都可擴大，能夠帶來2-3倍的性能提升。

對Inception的結構做以下說明：

?????? 1. 采用不同大小的卷積核意味著不同大小的感受野，最后拼接意味著不同尺度特征的融合；

?????? 2. 之所以卷積核大小采用1、3和5，主要是為了方便對齊。設定卷積步長stride=1后，只要分別設定pad=0、 ? ? ? ? ? ?1、2，那么卷積后便可以得到相同維度的特征，然后這些特征就可以直接拼接在一起了；

?????? 3 . 文章說很多地方都表明pooling挺有效，所以Inception里面也嵌入了;

?????? 4 . 網(wǎng)絡越到后面，特征越抽象，而且每個特征所涉及的感受野也更大了，因此隨著層數(shù)的增加，3x3和5x5卷 ? ? ? ? ? ? 積的比例也要增加。

?????? 5. 使用5x5的卷積核仍然會帶來巨大的計算量。 為此，文章借鑒NIN2，采用1x1卷積核來進行降維。?卷積神 ? ? ? ? ? ?經(jīng)網(wǎng)絡 1*1 卷積核 ?

?????? 此外，該模型最后采用了average pooling來代替全連接層。但是，實際在最后還是加了一個全連接層，主要是為了方便以后大家finetune。

GoogLeNet網(wǎng)絡整體結構：

簡化版：

對上圖做如下說明：

1 . 顯然GoogLeNet采用了模塊化的結構，方便增添和修改；

2 . 網(wǎng)絡最后采用了average pooling來代替全連接層，想法來自NIN,事實證明可以將TOP1 accuracy提高0.6%。但是，實際在最后還是加了一個全連接層，主要是為了方便以后大家finetune；

3 . 雖然移除了全連接，但是網(wǎng)絡中依然使用了Dropout ;

4 . 為了避免梯度消失，網(wǎng)絡額外增加了2個輔助的softmax用于向前傳導梯度。文章中說這兩個輔助的分類器的loss應該加一個衰減系數(shù)，但看caffe中的model也沒有加任何衰減。此外，實際測試的時候，這兩個額外的softmax會被去掉。

輔助分類器

GoogLeNet用到了輔助分類器。Inception Net一共有22層，除了最后一層的輸出結果，中間節(jié)點的分類效果也有可能是很好的，所以GoogLeNet將中間某一層的輸出作為分類，并以一個較小的權重（0.3）加到最終的分類結果中。一共有2個這樣的輔助分類節(jié)點。

輔助分類器相當于對模型做了融合，同時給網(wǎng)絡增加了反向傳播的梯度信號，在一定程度上提供了正則化的作用。

輔助分類器的具體細節(jié)：

1.均值pooling層濾波器大小為5x5，步長為3，(4a)的輸出為4x4x512，(4d)的輸出為4x4x528；

2.1x1的卷積有用于降維的128個濾波器和修正線性激活；

3.全連接層有1024個單元和修正線性激活；
4.dropout層的dropped的輸出比率為70%；

5.線性層將softmax損失作為分類器（和主分類器一樣預測1000個類，但在inference時移除）。

參考：?http://blog.csdn.net/shuzfan/article/details/50738394

總結

以上是生活随笔為你收集整理的GoogLeNet 神经网络结构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。