dropout法中为什么要除以keep_prob?
生活随笔
收集整理的這篇文章主要介紹了
dropout法中为什么要除以keep_prob?
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
參考:https://www.imooc.com/article/30129
吳恩達在課里講的是為了保證神經元輸出激活值的期望值與不使用dropout時一致,我們結合概率論的知識來具體看一下:假設一個神經元的輸出激活值為a,在不使用dropout的情況下,其輸出期望值為a,如果使用了dropout,神經元就可能有保留和關閉兩種狀態,把它看作一個離散型隨機變量,它就符合概率論中的0-1分布,其輸出激活值的期望變為 p*a+(1-p)*0=pa,此時若要保持期望和不使用dropout時一致,就要除以 p。
總結
以上是生活随笔為你收集整理的dropout法中为什么要除以keep_prob?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: XML DTD Schema 学习-Sc
- 下一篇: 全球IP数据库下载