全栈深度学习第5期: 神经网络调试技巧
一起追劇鴨
簡介
Berkeley全棧深度學(xué)習(xí)追劇計劃是由夕小瑤的賣萌屋發(fā)起的優(yōu)質(zhì)公開課打卡項目，通過微信群為同期追劇的小伙伴提供交流平臺。關(guān)于該計劃的詳請見這里。
Berkeley深度學(xué)習(xí)追劇群
目前已有1000+小伙伴加入，公眾號后臺回復(fù)口令 深度學(xué)習(xí)追劇 入群。
課程主頁
https://course.fullstackdeeplearning.com
第5期內(nèi)容
神經(jīng)網(wǎng)絡(luò)的調(diào)試確實是讓人頭禿的事情，如何能夠有策略的進行模型調(diào)試值得了解。本期是FSDL課程的第五期: Troubleshooting Deep Neural Networks，主要介紹了如何調(diào)試神經(jīng)網(wǎng)絡(luò)。主要包括：
從簡入手：深度學(xué)習(xí)的bugs們通常都是隱身的，即使我們有火眼金睛，也很難找到它們。所以從簡化版著手，逐步搭建模型、增加數(shù)據(jù)量和延后調(diào)參都是不錯的選擇。視頻中有介紹采用哪些方法去簡化模型， 比如初始化采用神奇的學(xué)習(xí)率3e-4????。
怎樣調(diào)試呢？Josh建議首先讓代碼可以跑起來，然后保證在一個batch上可以overfit，并且最好能夠將自己的結(jié)果和一個已知的結(jié)果進行對比。視頻中列了5個最常見的bugs，去看看你遇到過幾次呀~也可以當做一個簡單的checklist。
如何評估模型的性能？評估模型是overfitting、underfitting的程度，再決定下一步優(yōu)先做什么。
Test error = irreducible error + bias + variance + distribution shift + val overfitting。?對比model在訓(xùn)練、驗證、測試集上的表現(xiàn)，尋求bias-variance的平衡。
基礎(chǔ)性能評估后，我們需要思考可以從哪些方面改進我們的模型呢？比如：under-fitting，over-fitting都有什么對應(yīng)策略呢？訓(xùn)練、驗證、測試數(shù)據(jù)分布不一樣應(yīng)該怎么辦呢？
調(diào)超參有哪些技巧呢？對比了手動調(diào)參、網(wǎng)格搜索、隨機搜索、coarse-to-fine、貝葉斯超參優(yōu)化五種方法。
追劇鏈接：
注：【夕小瑤的賣萌屋】后臺回復(fù) DL5獲取本期PPT
往期內(nèi)容回顧
全棧深度學(xué)習(xí)第1期：如何啟動一個機器學(xué)習(xí)項目？
全棧深度學(xué)習(xí)第2期: 開發(fā)套件與工具篇
全棧深度學(xué)習(xí)第3期: 怎樣科學(xué)管理實驗數(shù)據(jù)？
全棧深度學(xué)習(xí)第4期: 機器學(xué)習(xí)崗位區(qū)別與團隊管理
后臺回復(fù)關(guān)鍵詞【入群】
加入賣萌屋NLP/IR/Rec與求職討論群
后臺回復(fù)關(guān)鍵詞【頂會】
獲取ACL、CIKM等各大頂會論文集！
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎總結(jié)
以上是生活随笔為你收集整理的全栈深度学习第5期: 神经网络调试技巧的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Google Research新成果，让
- 下一篇： 深度学习推荐系统中各类流行的Embedd