卷积神经网络(CNN)小结
卷積神經網絡(Convolutional Neural Network,CNN)是人工神經網絡的一種,已成為當前語音分析和圖像識別領域的研究熱點。
感受野和權值共享
卷積神經網絡一個牛逼的地方就在于通過感受野和權值共享減少了神經網絡需要訓練的參數的個數,這有助于提高一般前向BP算法的訓練性能。
感受野其實就是一個隱藏層神經元的局部連接大小。在全連接結構的神經網絡中,隱藏層神經元和輸入層的所有神經元都存在形成連接,帶來的潛在問題是參數數量的膨脹。假設輸入的是一幅像素為100100的圖像,隱含層有1000個節點,光這一層就有(100100+1)*1000個權重需要訓練,這不僅容易過擬合,而且極容易陷入局部最優。在卷積神經網絡中,感受野就是卷積神經網絡每一層輸出的特征圖(feature map)上的像素點在原始圖像上映射的區域大小,即隱藏層神經元只與對應感受野區域內的輸入神經元相關。權值共享就是使用相同的卷積核在輸入中的不同感受野中做卷積操作。
卷積和池化
卷積神經網絡是一個多層的神經網絡,每層由多個二維平面組成,而每個平面由多個獨立神經元組成。
圖中所示的C1、C3通常為卷積層,S2、S4通常為池化層,除此之外通常還包含全連接層等。
卷積層通常也稱為特征提取層,每個神經元與前一層的局部感受野相連,并提取該局部的特征。通常為了提取多個特征,需要使用多個卷積核。假設卷積核大小為55,使用20個卷積核,則需要訓練的參數個數為(55+1)*20=520。
隱藏層神經元的個數取決于輸入大小、卷積核大小、卷積步長和卷積核數。假設對于100100的輸入,采用的卷積核為55大小,卷積步長為1,則隱藏層神經元的個數為(100-5+1)(100-5+1)20,每個神經元與5*5個輸入神經元相連。不同卷積核去卷積圖像會得到對圖像的不同特征的反應映,我們稱之為特征圖(Feature Map)。
池化層的輸入一般來源于上一個卷積層,進行池化主要是為了提供魯棒性,同時減少參數的數量,防止過擬合現象的發生。常見的池化操作有平均池化和最大池化,其中,平均池化指的是計算圖像區域的平均值作為該區域池化后的值,最大池化是選圖像區域的最大值作為該區域池化后的值。
總結
以上是生活随笔為你收集整理的卷积神经网络(CNN)小结的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【提高系列】webpack相关知识
- 下一篇: AWS Elastic Block St