https://zhuanlan.zhihu.com/p/20792837

轉載請注明：煉丹實驗室

神經網絡的代碼，比一般的代碼要難調試不少，和編譯錯誤以及運行時程序崩潰相比，神經網絡比較棘手的地方，往往在于程序運行正常，但是結果無法收斂，這個檢查起來可要麻煩多了。下面是根據我平時調試神經網絡的經驗，總結的一些比較通用的調試技巧，后續會再寫一篇文章，專門介紹一下theano如何進行調試，希望能對大家調試神經網絡有所幫助。

遇到Nan怎么辦？

Nan問題，我相信大部分人都遇到過，一般可能是下面幾個原因造成的：

除0問題。這里實際上有兩種可能，一種是被除數的值是無窮大，即Nan，另一種就是除數的值是0。之前產生的Nan或者0，有可能會被傳遞下去，造成后面都是Nan。請先檢查一下神經網絡中有可能會有除法的地方，例如softmax層，再認真的檢查一下數據。我有一次幫別人調試代碼，甚至還遇到過，訓練數據文件中，有些值就是Nan。。。這樣讀進來以后，開始訓練，只要遇到Nan的數據，后面也就Nan了?？梢試L試加一些日志，把神經網絡的中間結果輸出出來，看看哪一步開始出現Nan。后面會介紹Theano的處理辦法。

梯度過大，造成更新后的值為Nan。特別是RNN，在序列比較長的時候，很容易出現梯度爆炸的問題。一般有以下幾個解決辦法。

對梯度做clip(梯度裁剪），限制最大梯度,其實是value = sqrt(w1^2+w2^2….),如果value超過了閾值,就算一個衰減系系數,讓value的值等于閾值: 5,10,15。

減少學習率。初始學習率過大，也有可能造成這個問題。需要注意的是，即使使用adam之類的自適應學習率算法進行訓練，也有可能遇到學習率過大問題，而這類算法，一般也有一個學習率的超參，可以把這個參數改的小一些。

初始參數值過大，也有可能出現Nan問題。輸入和輸出的值，最好也做一下歸一化。具體方法可以參考我之前的一篇文章：深度學習個人煉丹心得 - 煉丹實驗室 - 知乎專欄

?

神經網絡學不出東西怎么辦？

可能我們并沒有遇到，或者解決了Nan等問題，網絡一直在正常的訓練，但是cost降不下來，預測的時候，結果不正常。

請打印出訓練集的cost值和測試集上cost值的變化趨勢，正常情況應該是訓練集的cost值不斷下降，最后趨于平緩，或者小范圍震蕩，測試集的cost值先下降，然后開始震蕩或者慢慢上升。如果訓練集cost值不下降，有可能是代碼有bug，有可能是數據有問題（本身有問題，數據處理有問題等等），有可能是超參（網絡大小，層數，學習率等）設置的不合理。?
請人工構造10條數據，用神經網絡反復訓練，看看cost是否下降，如果還不下降，那么可能網絡的代碼有bug，需要認真檢查了。如果cost值下降，在這10條數據上做預測，看看結果是不是符合預期。那么很大可能網絡本身是正常的。那么可以試著檢查一下超參和數據是不是有問題。

如果神經網絡代碼，全部是自己實現的，那么強烈建議做梯度檢查。確保梯度計算沒有錯誤。

先從最簡單的網絡開始實驗，不要僅僅看cost值，還要看一看神經網絡的預測輸出是什么樣子，確保能跑出預期結果。例如做語言模型實驗的時候，先用一層RNN，如果一層RNN正常，再嘗試LSTM，再進一步嘗試多層LSTM。

如果可能的話，可以輸入一條指定數據，然后自己計算出每一步正確的輸出結果，再檢查一下神經網絡每一步的結果，是不是一樣的。

參考資料

http://russellsstewart.com/notes/0.html

轉載于:https://www.cnblogs.com/DjangoBlog/p/7281491.html

總結

以上是生活随笔為你收集整理的深度学习网络调试技巧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。