AI有道

不可錯過的AI技術公眾號

關注

吳恩達的深度學習專項課程的第一門課《神經網絡與深度學習》的所有精煉筆記我已經整理完畢。迷路的小伙伴請見文章末尾的推薦閱讀：

在接下來的幾次筆記中，我們將對第二門課《優化深度神經網絡》進行筆記總結和整理。我們在第一門課中已經學習了如何建立一個神經網絡，或者淺層的，或者深度的。而這第二門課，我們將著重討論和研究如何優化神經網絡模型，例如調整超參數，提高算法運行速度等等。開始吧~

——前言

1

Train/Dev/Test sets

選擇最佳的訓練集（Training sets）、驗證集（Development sets）、測試集（Test sets）對神經網絡的性能影響非常重要。除此之外，在構建一個神經網絡的時候，我們需要設置許多參數，例如神經網絡的層數、每個隱藏層包含的神經元個數、學習因子（學習速率）、激活函數的選擇等等。實際上很難在第一次設置的時候就選擇到這些最佳的參數，而是需要通過不斷地迭代更新來獲得。這個循環迭代的過程是這樣的：我們先有個想法Idea，先選擇初始的參數值，構建神經網絡模型結構；然后通過代碼Code的形式，實現這個神經網絡；最后，通過實驗Experiment驗證這些參數對應的神經網絡的表現性能。根據驗證結果，我們對參數進行適當的調整優化，再進行下一次的Idea->Code->Experiment循環。通過很多次的循環，不斷調整參數，選定最佳的參數值，從而讓神經網絡性能最優化。

深度學習已經應用于許多領域中，比如NLP，CV，Speech Recognition等等。通常來說，最適合某個領域的深度學習網絡往往不能直接應用在其它問題上。解決不同問題的最佳選擇是根據樣本數量、輸入特征數量和電腦配置信息（GPU或者CPU）等，來選擇最合適的模型。即使是最有經驗的深度學習專家也很難第一次就找到最合適的參數。因此，應用深度學習是一個反復迭代的過程，需要通過反復多次的循環訓練得到最優化參數。決定整個訓練過程快慢的關鍵在于單次循環所花費的時間，單次循環越快，訓練過程越快。而設置合適的Train/Dev/Test sets數量，能有效提高訓練效率。

一般地，我們將所有的樣本數據分成三個部分：Train/Dev/Test sets。訓練集（Train sets）用來訓練你的算法模型；驗證集（Dev sets）用來驗證不同算法的表現情況，從中選擇最好的算法模型；測試集（Test sets）用來測試最好算法的實際表現，作為該算法的無偏估計。

之前人們通常設置Train sets和Test sets的數量比例為70%和30%。如果有Dev sets，則設置比例為60%、20%、20%，分別對應Train/Dev/Test sets。這種比例分配在樣本數量不是很大的情況下，例如100,1000,10000，是比較科學的。但是如果數據量很大的時候，例如100萬，這種比例分配就不太合適了。科學的做法是要將Dev sets和Test sets的比例設置得很低。因為Dev sets的目標是用來比較驗證不同算法的優劣，從而選擇更好的算法模型就行了。因此，通常不需要所有樣本的20%這么多的數據來進行驗證。對于100萬的樣本，往往只需要10000個樣本來做驗證就夠了。Test sets也是一樣，目標是測試已選算法的實際表現，無偏估計。對于100萬的樣本，往往也只需要10000個樣本就夠了。因此，對于大數據樣本，Train/Dev/Test sets的比例通?？梢栽O置為98%/1%/1%，或者99%/0.5%/0.5%。樣本數據量越大，相應的Dev/Test sets的比例可以設置的越低一些。

現代深度學習還有個重要的問題就是訓練樣本和測試樣本分布上不匹配，意思是訓練樣本和測試樣本來自于不同的分布。舉個例子，假設你開發一個手機app，可以讓用戶上傳圖片，然后app識別出貓的圖片。在app識別算法中，你的訓練樣本可能來自網絡下載，而你的驗證和測試樣本可能來自不同用戶的上傳。從網絡下載的圖片一般像素較高而且比較正規，而用戶上傳的圖片往往像素不穩定，且圖片質量不一。因此，訓練樣本和驗證/測試樣本可能來自不同的分布。解決這一問題的比較科學的辦法是盡量保證Dev sets和Test sets來自于同一分布。值得一提的是，訓練樣本非常重要，通常我們可以將現有的訓練樣本做一些處理，例如圖片的翻轉、假如隨機噪聲等，來擴大訓練樣本的數量，從而讓該模型更加強大。即使Train sets和Dev/Test sets不來自同一分布，使用這些技巧也能提高模型性能。

最后提一點的是如果沒有Test sets也是沒有問題的。Test sets的目標主要是進行無偏估計。我們可以通過Train sets訓練不同的算法模型，然后分別在Dev sets上進行驗證，根據結果選擇最好的算法模型。這樣也是可以的，不需要再進行無偏估計了。如果只有Train sets和Dev sets，通常也有人把這里的Dev sets稱為Test sets，我們要注意加以區別。

2

Bias/Variance

偏差（Bias）和方差（Variance）是機器學習領域非常重要的兩個概念和需要解決的問題。在傳統的機器學習算法中，Bias和Variance是對立的，分別對應著欠擬合和過擬合，我們常常需要在Bias和Variance之間進行權衡。而在深度學習中，我們可以同時減小Bias和Variance，構建最佳神經網絡模型。

如下圖所示，顯示了二維平面上，high bias，just right，high variance的例子。可見，high bias對應著欠擬合，而high variance對應著過擬合。

上圖這個例子中輸入特征是二維的，high bias和high variance可以直接從圖中分類線看出來。而對于輸入特征是高維的情況，如何來判斷是否出現了high bias或者high variance呢？

例如貓識別問題，輸入是一幅圖像，其特征維度很大。這種情況下，我們可以通過兩個數值Train set error和Dev set error來理解bias和variance。假設Train set error為1%，而Dev set error為11%，即該算法模型對訓練樣本的識別很好，但是對驗證集的識別卻不太好。這說明了該模型對訓練樣本可能存在過擬合，模型泛化能力不強，導致驗證集識別率低。這恰恰是high variance的表現。假設Train set error為15%，而Dev set error為16%，雖然二者error接近，即該算法模型對訓練樣本和驗證集的識別都不是太好。這說明了該模型對訓練樣本存在欠擬合。這恰恰是high bias的表現。假設Train set error為15%，而Dev set error為30%，說明了該模型既存在high bias也存在high variance（深度學習中最壞的情況）。再假設Train set error為0.5%，而Dev set error為1%，即low bias和low variance，是最好的情況。值得一提的是，以上的這些假設都是建立在base error是0的基礎上，即人類都能正確識別所有貓類圖片。base error不同，相應的Train set error和Dev set error會有所變化，但沒有相對變化。

一般來說，Train set error體現了是否出現bias，Dev set error體現了是否出現variance（正確地說，應該是Dev set error與Train set error的相對差值）。

我們已經通過二維平面展示了high bias或者high variance的模型，下圖展示了high bias and high variance的模型：

模型既存在high bias也存在high variance，可以理解成某段區域是欠擬合的，某段區域是過擬合的。

3

Basic Recipe for Machine Learning

機器學習中基本的一個訣竅就是避免出現high bias和high variance。首先，減少high bias的方法通常是增加神經網絡的隱藏層個數、神經元個數，訓練時間延長，選擇其它更復雜的NN模型等。在base error不高的情況下，一般都能通過這些方式有效降低和避免high bias，至少在訓練集上表現良好。其次，減少high variance的方法通常是增加訓練樣本數據，進行正則化Regularization，選擇其他更復雜的NN模型等。

這里有幾點需要注意的。第一，解決high bias和high variance的方法是不同的。實際應用中通過Train set error和Dev set error判斷是否出現了high bias或者high variance，然后再選擇針對性的方法解決問題。

第二，Bias和Variance的折中tradeoff。傳統機器學習算法中，Bias和Variance通常是對立的，減小Bias會增加Variance，減小Variance會增加Bias。而在現在的深度學習中，通過使用更復雜的神經網絡和海量的訓練樣本，一般能夠同時有效減小Bias和Variance。這也是深度學習之所以如此強大的原因之一。

4

Regularization

如果出現了過擬合，即high variance，則需要采用正則化（regularization）來解決。雖然擴大訓練樣本數量也是減小high variance的一種方法，但是通常獲得更多訓練樣本的成本太高，比較困難。所以，更可行有效的辦法就是使用regularization。

我們先來回顧一下之前介紹的Logistic regression。采用L2 regularization，其表達式為：

這里有個問題：為什么只對w進行正則化而不對b進行正則化呢？其實也可以對b進行正則化。但是一般w的維度很大，而b只是一個常數。相比較來說，參數很大程度上由w決定，改變b值對整體模型影響較小。所以，一般為了簡便，就忽略對b的正則化了。

除了L2 regularization之外，還有另外一只正則化方法：L1 regularization。其表達式為：

與L2 regularization相比，L1 regularization得到的w更加稀疏，即很多w為零值。其優點是節約存儲空間，因為大部分w為0。然而，實際上L1 regularization在解決high variance方面比L2 regularization并不更具優勢。而且，L1的在微分求導方面比較復雜。所以，一般L2 regularization更加常用。

L1、L2 regularization中的λ就是正則化參數（超參數的一種）?？梢栽O置λ為不同的值，在Dev set中進行驗證，選擇最佳的λ。順便提一下，在python中，由于lambda是保留字，所以為了避免沖突，我們使用lambd來表示λ。

在深度學習模型中，L2 regularization的表達式為：

5

Why regularization reduces overfitting

為什么正則化能夠有效避免high variance，防止過擬合呢？下面我們通過幾個例子說明。

還是之前那張圖，從左到右，分別表示了欠擬合，剛好擬合，過擬合三種情況。

因此，選擇合適大小的λλ值，就能夠同時避免high bias和high variance，得到最佳模型。

6

Dropout Regularization

除了L2 regularization之外，還有另外一種防止過擬合的有效方法：Dropout。

Dropout是指在深度學習網絡的訓練過程中，對于每層的神經元，按照一定的概率將其暫時從網絡中丟棄。也就是說，每次訓練時，每一層都有部分神經元不工作，起到簡化復雜網絡模型的效果，從而避免發生過擬合。

Dropout有不同的實現方法，接下來介紹一種常用的方法：Inverted dropout。假設對于第l層神經元，設定保留神經元比例概率keep_prob=0.8，即該層有20%的神經元停止工作。dl為dropout向量，設置dl為隨機vector，其中80%的元素為1，20%的元素為0。在python中可以使用如下語句生成dropout vector：

dl = np.random.rand(al.shape[0],al.shape[1])<keep_prob

然后，第l層經過dropout，隨機刪減20%的神經元，只保留80%的神經元，其輸出為：

al = np.multiply(al,dl)

最后，還要對alal進行scale up處理，即：

al /= keep_prob

以上就是Inverted dropout的方法。之所以要對al進行scale up是為了保證在經過dropout后，al作為下一層神經元的輸入值盡量保持不變。假設第l層有50個神經元，經過dropout后，有10個神經元停止工作，這樣只有40神經元有作用。那么得到的al只相當于原來的80%。scale up后，能夠盡可能保持al的期望值相比之前沒有大的變化。

Inverted dropout的另外一個好處就是在對該dropout后的神經網絡進行測試時能夠減少scaling問題。因為在訓練時，使用scale up保證al的期望值沒有大的變化，測試時就不需要再對樣本數據進行類似的尺度伸縮操作了。

對于m個樣本，單次迭代訓練時，隨機刪除掉隱藏層一定數量的神經元；然后，在刪除后的剩下的神經元上正向和反向更新權重w和常數項b；接著，下一次迭代中，再恢復之前刪除的神經元，重新隨機刪除一定數量的神經元，進行正向和反向更新w和b。不斷重復上述過程，直至迭代訓練完成。

值得注意的是，使用dropout訓練結束后，在測試和實際應用模型時，不需要進行dropout和隨機刪減神經元，所有的神經元都在工作。

7

Understanding Dropout

Dropout通過每次迭代訓練時，隨機選擇不同的神經元，相當于每次都在不同的神經網絡上進行訓練，類似機器學習中Bagging的方法（三個臭皮匠，賽過諸葛亮），能夠防止過擬合。

除此之外，還可以從權重w的角度來解釋為什么dropout能夠有效防止過擬合。對于某個神經元來說，某次訓練時，它的某些輸入在dropout的作用被過濾了。而在下一次訓練時，又有不同的某些輸入被過濾。經過多次訓練后，某些輸入被過濾，某些輸入被保留。這樣，該神經元就不會受某個輸入非常大的影響，影響被均勻化了。也就是說，對應的權重w不會很大。這從從效果上來說，與L2 regularization是類似的，都是對權重w進行“懲罰”，減小了w的值。

總結一下，對于同一組訓練數據，利用不同的神經網絡訓練之后，求其輸出的平均值可以減少overfitting。Dropout就是利用這個原理，每次丟掉一定數量的隱藏層神經元，相當于在不同的神經網絡上進行訓練，這樣就減少了神經元之間的依賴性，即每個神經元不能依賴于某幾個其他的神經元（指層與層之間相連接的神經元），使神經網絡更加能學習到與其他神經元之間的更加健壯robust的特征。

在使用dropout的時候，有幾點需要注意。首先，不同隱藏層的dropout系數keep_prob可以不同。一般來說，神經元越多的隱藏層，keep_out可以設置得小一些.，例如0.5；神經元越少的隱藏層，keep_out可以設置的大一些，例如0.8，設置是1。另外，實際應用中，不建議對輸入層進行dropout，如果輸入層維度很大，例如圖片，那么可以設置dropout，但keep_out應設置的大一些，例如0.8，0.9。總體來說，就是越容易出現overfitting的隱藏層，其keep_prob就設置的相對小一些。沒有準確固定的做法，通常可以根據validation進行選擇。

Dropout在電腦視覺CV領域應用比較廣泛，因為輸入層維度較大，而且沒有足夠多的樣本數量。值得注意的是dropout是一種regularization技巧，用來防止過擬合的，最好只在需要regularization的時候使用dropout。

使用dropout的時候，可以通過繪制cost function來進行debug，看看dropout是否正確執行。一般做法是，將所有層的keep_prob全設置為1，再繪制cost function，即涵蓋所有神經元，看J是否單調下降。下一次迭代訓練時，再將keep_prob設置為其它值。

8

Other regularization methods

除了L2 regularization和dropout regularization之外，還有其它減少過擬合的方法。

一種方法是增加訓練樣本數量。但是通常成本較高，難以獲得額外的訓練樣本。但是，我們可以對已有的訓練樣本進行一些處理來“制造”出更多的樣本，稱為data augmentation。例如圖片識別問題中，可以對已有的圖片進行水平翻轉、垂直翻轉、任意角度旋轉、縮放或擴大等等。如下圖所示，這些處理都能“制造”出新的訓練樣本。雖然這些是基于原有樣本的，但是對增大訓練樣本數量還是有很有幫助的，不需要增加額外成本，卻能起到防止過擬合的效果。

在數字識別中，也可以將原有的數字圖片進行任意旋轉或者扭曲，或者增加一些noise，如下圖所示：

還有另外一種防止過擬合的方法：early stopping。一個神經網絡模型隨著迭代訓練次數增加，train set error一般是單調減小的，而dev set error 先減小，之后又增大。也就是說訓練次數過多時，模型會對訓練樣本擬合的越來越好，但是對驗證集擬合效果逐漸變差，即發生了過擬合。因此，迭代訓練次數不是越多越好，可以通過train set error和dev set error隨著迭代次數的變化趨勢，選擇合適的迭代次數，即early stopping。

然而，Early stopping有其自身缺點。通常來說，機器學習訓練模型有兩個目標：一是優化cost function，盡量減小J；二是防止過擬合。這兩個目標彼此對立的，即減小J的同時可能會造成過擬合，反之亦然。我們把這二者之間的關系稱為正交化orthogonalization。該節課開始部分就講過，在深度學習中，我們可以同時減小Bias和Variance，構建最佳神經網絡模型。但是，Early stopping的做法通過減少得帶訓練次數來防止過擬合，這樣J就不會足夠小。也就是說，early stopping將上述兩個目標融合在一起，同時優化，但可能沒有“分而治之”的效果好。

與early stopping相比，L2 regularization可以實現“分而治之”的效果：迭代訓練足夠多，減小J，而且也能有效防止過擬合。而L2 regularization的缺點之一是最優的正則化參數λ的選擇比較復雜。對這一點來說，early stopping比較簡單?？偟膩碚f，L2 regularization更加常用一些。

9

Normalizing inputs

在訓練神經網絡時，標準化輸入可以提高訓練的速度。標準化輸入就是對訓練數據集進行歸一化的操作，即將原始數據減去其均值μ后，再除以其方差σ^2：

以二維平面為例，下圖展示了其歸一化過程：

值得注意的是，由于訓練集進行了標準化處理，那么對于測試集或在實際應用時，應該使用同樣的μ和σ^2對其進行標準化處理。這樣保證了訓練集合測試集的標準化操作一致。

之所以要對輸入進行標準化操作，主要是為了讓所有輸入歸一化同樣的尺度上，方便進行梯度下降算法時能夠更快更準確地找到全局最優解。假如輸入特征是二維的，且x1的范圍是[1,1000]，x2的范圍是[0,1]。如果不進行標準化處理，x1與x2之間分布極不平衡，訓練得到的w1和w2也會在數量級上差別很大。這樣導致的結果是cost function與w和b的關系可能是一個非常細長的橢圓形碗。對其進行梯度下降算法時，由于w1和w2數值差異很大，只能選擇很小的學習因子α，來避免J發生振蕩。一旦α較大，必然發生振蕩，J不再單調下降。如下左圖所示。

然而，如果進行了標準化操作，x1與x2分布均勻，w1和w2數值差別不大，得到的cost function與w和b的關系是類似圓形碗。對其進行梯度下降算法時，α可以選擇相對大一些，且J一般不會發生振蕩，保證了J是單調下降的。如下右圖所示。

另外一種情況，如果輸入特征之間的范圍本來就比較接近，那么不進行標準化操作也是沒有太大影響的。但是，標準化處理在大多數場合下還是值得推薦的。

10

Vanishing and Exploding gradients

在神經網絡尤其是深度神經網絡中存在可能存在這樣一個問題：梯度消失和梯度爆炸。意思是當訓練一個 層數非常多的神經網絡時，計算得到的梯度可能非常小或非常大，甚至是指數級別的減小或增大。這樣會讓訓練過程變得非常困難。

舉個例子來說明，假設一個多層的每層只包含兩個神經元的深度神經網絡模型，如下圖所示：

11

Weight Initialization for Deep Networks

下面介紹如何改善Vanishing and Exploding gradients這類問題，方法是對權重w進行一些初始化處理。

深度神經網絡模型中，以單個神經元為例，該層（l）的輸入個數為n，其輸出為：

這里忽略了常數項b。為了讓z不會過大或者過小，思路是讓w與n有關，且n越大，w應該越小才好。這樣能夠保證z不會過大。一種方法是在初始化w時，令其方差為1/n。相應的python偽代碼為：

w[l] = np.random.randn(n[l],n[l-1])*np.sqrt(1/n[l-1])

如果激活函數是tanh，一般選擇上面的初始化方法。

如果激活函數是ReLU，權重w的初始化一般令其方差為2/n：

w[l] = np.random.randn(n[l],n[l-1])*np.sqrt(2/n[l-1])

w[l] = np.random.randn(n[l],n[l-1])*np.sqrt(2/n[l-1]*n[l])

至于選擇哪種初始化方法因人而異，可以根據不同的激活函數選擇不同方法。另外，我們可以對這些初始化方法中設置某些參數，作為超參數，通過驗證集進行驗證，得到最優參數，來優化神經網絡。

12

Numerical approximation of gradients

Back Propagation神經網絡有一項重要的測試是梯度檢查（gradient checking）。其目的是檢查驗證反向傳播過程中梯度下降算法是否正確。該小節將先介紹如何近似求出梯度值。

利用微分思想，函數f在點θ處的梯度可以表示成：

其中，ε>0，且足夠小。

13

Gradient checking

介紹完如何近似求出梯度值后，我們將介紹如何進行梯度檢查，來驗證訓練過程中是否出現bug。

14

Gradient Checking Implementation Notes

在進行梯度檢查的過程中有幾點需要注意的地方：

• 不要在整個訓練過程中都進行梯度檢查，僅僅作為debug使用。

• 如果梯度檢查出現錯誤，找到對應出錯的梯度，檢查其推導是否出現錯誤。

• 注意不要忽略正則化項，計算近似梯度的時候要包括進去。

• 梯度檢查時關閉dropout，檢查完畢后再打開dropout。

• 隨機初始化時運行梯度檢查，經過一些訓練后再進行梯度檢查（不常用）。

覺 得 有 用 就?轉 發 分 享?一 下 吧

往 期 推 薦

【1】吳恩達《神經網絡與深度學習》精煉筆記（4）-- 淺層神經網絡

【2】干貨|機器學習基石精選文章鏈接

【3】機器學習中的維度災難

長按二維碼掃描關注

紅色石頭的機器學習之路

ID：redstonewill

紅色石頭

個人微信 : WillowRedstone

新浪微博：@RedstoneWill

總結

以上是生活随笔為你收集整理的吴恩达《优化深度神经网络》精炼笔记（1）-- 深度学习的实用层面的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。