贝叶斯神经网络的辩论
貝葉斯概率體系的研究有一段時間了,目前在推進貝葉斯神經網絡,看到這篇文章的辯論,這里保存下。
https://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247500837&idx=1&sn=df0915b394369cfe5c9e936c44143941&chksm=ec5473a2db23fab4ddfc73cd71ceb564f3d117413bf23409f10a914d4f785fa2bcc198c8375d&mpshare=1&scene=1&srcid=&sharer_sharetime=1579477971698&sharer_shareid=5602b79897cf8f6f7ddc6bebc0fd31a9&key=d9ed8b7b5a182cf8319326febeea126dc1a0f133c658544dc5a4550e0eda8ec115e8e4e4c539675ba2269197e22ec02fb6bef89e14a5eb4947f8da7d96a9dcdca8990658151a21d1a2f4588fae22ec06&ascene=1&uin=MjkzMjQ1MDQyMQ%3D%3D&devicetype=Windows+10&version=6208006f&lang=zh_CN&exportkey=A6m66N3FpiMED6fEohk8tnQ%3D&pass_ticket=RcwNUyqM5HUb5Q0toVx4GZ7wGLL6ir4vcFrHTHhGmEj4eN94mJ423SQNuuAJpNn1
摘要:
1、BNN的簡要介紹
權重服務分布,在KL-loss后向傳播上,先驗分布的超參和激活函數選取還很重要。貝葉斯還有什么好處,正則化效果之外,正則化是通過稀疏解來發揮作用,但稀疏解和超參訓練有關,這個目前還沒看到相關文獻的證明和實驗。
2、論點:
關鍵是對特定場景的先驗有認知,否則先驗作用就不大了。另外就是可解釋性。 不好就論點更多發揮,但親測在某些數據集上特別有效。如筆者用在推薦系統的矩陣分解上,高斯分布的后驗具有解析解,速度非常快,但隨著負樣本采樣增多,性能并未如SVD那樣提升。
這個論點還是可以接受的。
更深的貝葉斯神經網絡,歡迎到個人github上一起探討。
?
總結
以上是生活随笔為你收集整理的贝叶斯神经网络的辩论的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 模型可解释性-贝叶斯方法
- 下一篇: 基于pytorch开发CNN提取全连接层