卷积神经网络(二):卷积神经网络CNN的BP算法
生活随笔
收集整理的這篇文章主要介紹了
卷积神经网络(二):卷积神经网络CNN的BP算法
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
該文檔參考了:http://www.cnblogs.com/tornadomeet/p/3468450.html
在此表示感謝。
一般而言,多類別神經網絡的輸出一般采用softmax形式,即輸出層的激活函數不采用sigmoid或者tanh函數。那么神經網絡的最后一層的輸出則為
下面看從pooling層到卷積層的誤差如何反向傳播,和多層神經網絡一樣,可以通過層與層間的連接實現誤差傳播,只是計算公式變為,
其中的系數根據pooling的方法賦值,如果是mean-pooling則把pooling層的誤差平均到其4個輸入上,如果是max-pooling則把誤差全部反向傳播到其輸入上。
接下來看如何計算卷積層反向傳播到pooling的誤差,pooling層中的1個feature map與M個卷積層的feature map的相連接,那么該pooling層的誤差項的計算公式如下,
上述公式中*號表示卷積操作,即將核函數K旋轉180度后再與誤差項做相關操作,然后再求和。
最后研究在求得各層的誤差項后如何計算與卷積層相連接的核函數的偏導數,計算公式如下,
即將卷積層的誤差項旋轉180度后與其輸入層做相關操作就可以得到核函數的偏導數。
而偏置項的偏導數則由誤差項內所有元素相加得到。
總結
以上是生活随笔為你收集整理的卷积神经网络(二):卷积神经网络CNN的BP算法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Win7和VS2013上使用Intel的
- 下一篇: 卷积神经网络(三):卷积神经网络CNN的