目錄

• • 1、感受野
  • 2、2層3 * 3卷積與1層5 * 5卷積
  • 3、2層3 * 3卷積與1層5 * 5卷積的計算量比較
  • 4、2層3 * 3卷積與1層5 * 5卷積的非線性比較
  • 5、2層3 * 3卷積與1層5 * 5卷積的參數(shù)量比較

1、感受野

感受野：卷積神經(jīng)網(wǎng)絡(luò)各輸出特征像素點(diǎn)，在原始圖片映射區(qū)域大小。
舉個例子，原圖為3x3大小，我們使用3x3大小的卷積核卷積，得到的輸出圖片大小是1x1的，所以輸出圖片的感受野是3。
感受野表征了卷積核的特征提取能力。

2、2層3 * 3卷積與1層5 * 5卷積

設(shè)原圖大小長寬皆為x(x>=5) ，我們使用5x5的卷積核在x方向上滑動，步長為1，需要滑動(x-5+1)次，y方向同理，滑動了(x-5+1)次，所以最終卷積了(x-4) * (x-4)次，也就是說得到的輸出圖大小為(x-4) * (x-4).
同理，3x3卷積核卷積遍后輸出圖大小為(x-3+1) * (x-3+1)，在輸出圖基礎(chǔ)上再次用3x3卷積核卷積，得到的輸出圖大小:(x-3+1-3+1) * (x-3+1-3+1)=(x-4) * (x-4).
可以發(fā)現(xiàn)對同樣一幅圖卷積，使用2個3 * 3卷積與1個5 * 5卷積得到的輸出圖大小是一樣的，也就是說他們的感受野是一樣大的，所以，可以總結(jié)出這樣一個結(jié)論：2遍3 * 3卷積與1遍5 * 5卷積，特征提取能力是一樣的。
那為何工業(yè)上常常用小的卷積核多次卷積去替代大卷積核一次卷積？
這個原因可以從三個角度去解答

3、2層3 * 3卷積與1層5 * 5卷積的計算量比較

3x3卷積核卷積一次的運(yùn)算量是9
5x5卷積核卷積一次的運(yùn)算量是25
所以對原圖大小長寬皆為x的圖片來說2遍3x3卷積與1遍5x5卷積的計算量分別為：

3 * 3卷積核：9 * (x-2) ^ 2+9 * (x-4) ^2(第一次卷積計算量+第二次卷積計算量)
5 * 5卷積核：25 * (x-4) ^2
列出不等式：
9 * (x-2) ^ 2+9 * (x-4) ^2 <=25 * (x-4) ^2(求出2遍3 * 3卷積運(yùn)算量比1遍5 * 5卷積的運(yùn)算量小時的原圖大小)
計算得出這樣結(jié)果
也就是說原圖邊長x>10時，2遍3 * 3卷積計算量比1遍5 * 5卷積計算量要小！！！
并且隨著x的增大，這種兩者計算量差距會逐漸拉大。
而一般圖片大小都是大于10的，如mnist手寫數(shù)字集邊長28

4、2層3 * 3卷積與1層5 * 5卷積的非線性比較

小卷積核卷積整合了多個非線性激活層，代替單一非線性激活層，增加了判別能力。

5、2層3 * 3卷積與1層5 * 5卷積的參數(shù)量比較

2遍3 * 3卷積參數(shù)個數(shù)=2 * 3 * 3 =18
1遍5 * 5卷積參數(shù)個數(shù)=5 * 5=25
參數(shù)個數(shù)明顯減少

總結(jié)

以上是生活随笔為你收集整理的为什么两层3*3卷积核效果比1层5*5卷积核效果要好？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。