關(guān)于卷積神經(jīng)網(wǎng)絡(luò)CNN，網(wǎng)絡(luò)和文獻(xiàn)中有非常多的資料，我在工作/研究中也用了好一段時(shí)間各種常見的model了，就想著簡(jiǎn)單整理一下，以備查閱之需。如果讀者是初接觸CNN，建議可以先看一看“Deep Learning（深度學(xué)習(xí)）學(xué)習(xí)筆記整理系列”中關(guān)于CNN的介紹[1]，是介紹我們常說的Lenet為例，相信會(huì)對(duì)初學(xué)者有幫助。

Lenet，1986年

Alexnet，2012年

GoogleNet，2014年

VGG，2014年

Deep Residual Learning，2015年

Lenet

就從Lenet說起，可以看下caffe中l(wèi)enet的配置文件（點(diǎn)我），可以試著理解每一層的大小，和各種參數(shù)。由兩個(gè)卷積層，兩個(gè)池化層，以及兩個(gè)全連接層組成。 卷積都是5*5的模板，stride=1，池化都是MAX。下圖是一個(gè)類似的結(jié)構(gòu)，可以幫助理解層次結(jié)構(gòu)（和caffe不完全一致，不過基本上差不多）

Alexnet

2012年，Imagenet比賽冠軍的model——Alexnet [2]（以第一作者alex命名）。caffe的model文件在這里。說實(shí)話，這個(gè)model的意義比后面那些model都大很多，首先它證明了CNN在復(fù)雜模型下的有效性，然后GPU實(shí)現(xiàn)使得訓(xùn)練在可接受的時(shí)間范圍內(nèi)得到結(jié)果，確實(shí)讓CNN和GPU都大火了一把，順便推動(dòng)了有監(jiān)督DL的發(fā)展。

模型結(jié)構(gòu)見下圖，別看只有寥寥八層（不算input層），但是它有60M以上的參數(shù)總量，事實(shí)上在參數(shù)量上比后面的網(wǎng)絡(luò)都大。

這個(gè)圖有點(diǎn)點(diǎn)特殊的地方是卷積部分都是畫成上下兩塊，意思是說吧這一層計(jì)算出來的feature map分開，但是前一層用到的數(shù)據(jù)要看連接的虛線，如圖中input層之后的第一層第二層之間的虛線是分開的，是說二層上面的128map是由一層上面的48map計(jì)算的，下面同理；而第三層前面的虛線是完全交叉的，就是說每一個(gè)192map都是由前面的128+128=256map同時(shí)計(jì)算得到的。

Alexnet有一個(gè)特殊的計(jì)算層，LRN層，做的事是對(duì)當(dāng)前層的輸出結(jié)果做平滑處理。下面是我畫的示意圖：

前后幾層（對(duì)應(yīng)位置的點(diǎn)）對(duì)中間這一層做一下平滑約束，計(jì)算方法是：

具體打開Alexnet的每一階段（含一次卷積主要計(jì)算）來看[2][3]：

（1）con - relu - pooling - LRN

具體計(jì)算都在圖里面寫了，要注意的是input層是227*227，而不是paper里面的224*224，這里可以算一下，主要是227可以整除后面的conv1計(jì)算，224不整除。如果一定要用224可以通過自動(dòng)補(bǔ)邊實(shí)現(xiàn)，不過在input就補(bǔ)邊感覺沒有意義，補(bǔ)得也是0。

（2）conv - relu - pool - LRN

和上面基本一樣，唯獨(dú)需要注意的是group=2，這個(gè)屬性強(qiáng)行把前面結(jié)果的feature map分開，卷積部分分成兩部分做。

（3）conv - relu

（4）conv-relu

（5）conv - relu - pool

（6）fc - relu - dropout

這里有一層特殊的dropout層，在alexnet中是說在訓(xùn)練的以1/2概率使得隱藏層的某些neuron的輸出為0，這樣就丟到了一半節(jié)點(diǎn)的輸出，BP的時(shí)候也不更新這些節(jié)點(diǎn)。?
（7）?
fc - relu - dropout?

（8）fc - softmax?

以上圖借用[3]，感謝。

GoogleNet

googlenet[4][5]，14年比賽冠軍的model，這個(gè)model證明了一件事：用更多的卷積，更深的層次可以得到更好的結(jié)構(gòu)。（當(dāng)然，它并沒有證明淺的層次不能達(dá)到這樣的效果）

這個(gè)model基本上構(gòu)成部件和alexnet差不多，不過中間有好幾個(gè)inception的結(jié)構(gòu)：

是說一分四，然后做一些不同大小的卷積，之后再堆疊feature map。

計(jì)算量如下圖，可以看到參數(shù)總量并不大，但是計(jì)算次數(shù)是非常大的。?

VGG

VGG有很多個(gè)版本，也算是比較穩(wěn)定和經(jīng)典的model。它的特點(diǎn)也是連續(xù)conv多，計(jì)算量巨大（比前面幾個(gè)都大很多）。具體的model結(jié)構(gòu)可以參考[6]，這里給一個(gè)簡(jiǎn)圖。基本上組成構(gòu)建就是前面alexnet用到的。?

下面是幾個(gè)model的具體結(jié)構(gòu)，可以查閱，很容易看懂。

Deep Residual Learning

這個(gè)model是2015年底最新給出的，也是15年的imagenet比賽冠軍。可以說是進(jìn)一步將conv進(jìn)行到底，其特殊之處在于設(shè)計(jì)了“bottleneck”形式的block（有跨越幾層的直連）。最深的model采用的152層！！下面是一個(gè)34層的例子，更深的model見表格。?
?
其實(shí)這個(gè)model構(gòu)成上更加簡(jiǎn)單，連LRN這樣的layer都沒有了。

block的構(gòu)成見下圖：

總結(jié)

OK，到這里把常見的最新的幾個(gè)model都介紹完了，可以看到，目前cnn model的設(shè)計(jì)思路基本上朝著深度的網(wǎng)絡(luò)以及更多的卷積計(jì)算方向發(fā)展。雖然有點(diǎn)暴力，但是效果上確實(shí)是提升了。當(dāng)然，我認(rèn)為以后會(huì)出現(xiàn)更優(yōu)秀的model，方向應(yīng)該不是更深，而是簡(jiǎn)化。是時(shí)候動(dòng)一動(dòng)卷積計(jì)算的形式了。

參考資料

[1]?http://blog.csdn.net/zouxy09/article/details/8781543/?
[2] ImageNet Classification with Deep Convolutional Neural Networks?
[3]?http://blog.csdn.net/sunbaigui/article/details/39938097?
[4]?http://blog.csdn.net/csyhhb/article/details/45967291?
[5] Going deeper with convolutions?
[6] VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

總結(jié)

以上是生活随笔為你收集整理的CNN经典网络模型:LeNet,Alexnet,VGGNet,GoogleNet,ReSNet的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。