前言:

　　最近打算稍微系統的學習下deep learing的一些理論知識，打算采用Andrew Ng的網頁教程UFLDL Tutorial，據說這個教程寫得淺顯易懂，也不太長。不過在這這之前還是復習下machine learning的基礎知識，見網頁：http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning。內容其實很短，每小節就那么幾分鐘，且講得非常棒。

?

　　教程中的一些術語:

　　Model representation:

　　其實就是指學習到的函數的表達形式，可以用矩陣表示。

　　Vectorized implementation:

　　指定是函數表達式的矢量實現。

　　Feature scaling：

　　指是將特征的每一維都進行一個尺度變化，比如說都讓其均值為0等。

　　Normal equations:

　　這里指的是多元線性回歸中參數解的矩陣形式，這個解方程稱為normal equations.

　　Optimization objective:

　　指的是需要優化的目標函數，比如說logistic中loss function表達式的公式推導。或者多元線性回歸中帶有規則性的目標函數。

　　Gradient Descent、Newton’s Method：

　　都是求目標函數最小值的方法。

　　Common variations:

　　指的是規則項表達形式的多樣性。

?

　　一些筆記：

　　模型表達就是給出輸入和輸出之間的函數關系式，當然這個函數是有前提假設的，里面可以含有參數。此時如果有許多訓練樣本的話，同樣可以給出訓練樣本的平均相關的誤差函數，一般該函數也稱作是損失函數（Loss function）。我們的目標是求出模型表達中的參數，這是通過最小化損失函數來求得的。一般最小化損失函數是通過梯度下降法（即先隨機給出參數的一組值，然后更新參數，使每次更新后的結構都能夠讓損失函數變小，最終達到最小即可）。在梯度下降法中，目標函數其實可以看做是參數的函數，因為給出了樣本輸入和輸出值后，目標函數就只剩下參數部分了，這時可以把參數看做是自變量，則目標函數變成參數的函數了。梯度下降每次都是更新每個參數，且每個參數更新的形式是一樣的，即用前一次該參數的值減掉學習率和目標函數對該參數的偏導數（如果只有1個參數的話，就是導數），為什么要這樣做呢？通過取不同點處的參數可以看出，這樣做恰好可以使原來的目標函數值變低，因此符合我們的要求（即求函數的最小值）。即使當學習速率固定(但不能太大)，梯度下降法也是可以收斂到一個局部最小點的，因為梯度值會越來越小，它和固定的學習率相乘后的積也會越來越小。在線性回歸問題中我們就可以用梯度下降法來求回歸方程中的參數。有時候該方法也稱為批量梯度下降法，這里的批量指的是每一時候參數的更新使用到了所有的訓練樣本。

? ? ? Vectorized implementation指的是矢量實現，由于實際問題中很多變量都是向量的，所有如果要把每個分量都寫出來的話會很不方便，應該盡量寫成矢量的形式。比如上面的梯度下降法的參數更新公式其實也是可以用矢量形式實現的。矢量形式的公式簡單，且易用matlab編程。由于梯度下降法是按照梯度方向來收斂到極值的，如果輸入樣本各個維數的尺寸不同（即范圍不同），則這些參數的構成的等高線不同的方向胖瘦不同，這樣會導致參數的極值收斂速度極慢。因此在進行梯度下降法求參數前，需要先進行feature scaling這一項，一般都是把樣本中的各維變成0均值，即先減掉該維的均值，然后除以該變量的range。

? ? ?接下來就是學習率對梯度下降法的影響。如果學習速率過大，這每次迭代就有可能出現超調的現象，會在極值點兩側不斷發散，最終損失函數的值是越變越大，而不是越來越小。在損失函數值——迭代次數的曲線圖中，可以看到，該曲線是向上遞增的。當然了，當學習速率過大時，還可能出現該曲線不斷震蕩的情形。如果學習速率太小，這該曲線下降得很慢，甚至在很多次迭代處曲線值保持不變。那到底該選什么值呢？這個一般是根據經驗來選取的，比如從…0.0001,0.001,.0.01,0.1,1.0…這些參數中選，看那個參數使得損失值和迭代次數之間的函數曲線下降速度最快。

? ? ?同一個問題可以選用不同的特征和不同的模型，特征方面，比如單個面積特征其實是可以寫成長和寬2個特征的。不同模型方面，比如在使用多項式擬合模型時，可以指定x的指數項最多到多少。當用訓練樣本來進行數據的測試時，一般都會將所有的訓練數據整理成一個矩陣，矩陣的每一行就是一個訓練樣本，這樣的矩陣有時候也會叫做是“design matrix”。當用矩陣的形式來解多項式模型的參數時，參數w=inv(X’*X)*X’*y,這個方程也稱為normal equations. 雖然X’*X是方陣，但是它的逆不一定存在（當一個方陣的逆矩陣不存在時，該方陣也稱為sigular）。比如說當X是單個元素0時，它的倒數不存在，這就是個Sigular矩陣，當然了這個例子太特殊了。另一個比較常見的例子就是參數的個數比訓練樣本的個數還要多時也是非可逆矩陣。這時候要求解的話就需要引入regularization項，或者去掉一些特征項（典型的就是降維，去掉那些相關性強的特征）。另外，對線性回歸中的normal equations方程求解前，不需要對輸入樣本的特征進行feature scale（這個是有理論依據的）。

　　上面講的函數一般都是回歸方面的，也就是說預測值是連續的，如果我們需要預測的值只有2種，要么是要么不是，即預測值要么是0要么是1，那么就是分類問題了。這樣我們需要有一個函數將原本的預測值映射到0到1之間，通常這個函數就是logistic function，或者叫做sigmoid function。因為這種函數值還是個連續的值，所以對logistic函數的解釋就是在給定x的值下輸出y值為1的概率。

　　Convex函數其實指的是只有一個極值點的函數，而non-convex可能有多個極值點。一般情況下我們都希望損失函數的形式是convex的。在分類問題情況下，先考慮訓練樣本中值為1的那些樣本集，這時候我的損失函數要求我們當預測值為1時，損失函數值最小（為0），當預測值為0時，此時損失函數的值最大，為無窮大，所以這種情況下一般采用的是-log(h(x)),剛好滿足要求。同理，當訓練樣本值為0時，一般采用的損失函數是-log(1-h(x)).因此將這兩種整合在一起時就為-y*log(h(x))-(1-y)*log(1-h(x))，結果是和上面的一樣，不過表達式更緊湊了，選這樣形式的loss函數是通過最大釋然估計(MLE)求得的。這種情況下依舊可以使用梯度下降法來求解參數的最優值。在求參數的迭代公式時，同樣需要求損失函數的偏導，很奇怪的時，這時候的偏導函數和多元線性回歸時的偏導函數結構類似，只是其中的預測函數一個是普通的線性函數，一個是線性函數和sigmoid的復合的函數。

　　梯度下降法是用來求函數值最小處的參數值，而牛頓法是用來求函數值為0處的參數值，這兩者的目的初看是感覺有所不同，但是再仔細觀察下牛頓法是求函數值為0時的情況，如果此時的函數是某個函數A的導數，則牛頓法也算是求函數A的最小值（當然也有可能是最大值）了，因此這兩者方法目的還是具有相同性的。牛頓法的參數求解也可以用矢量的形式表示，表達式中有hession矩陣和一元導函數向量。

　　下面來比較梯度法和牛頓法，首先的不同之處在于梯度法中需要選擇學習速率，而牛頓法不需要選擇任何參數。第二個不同之處在于梯度法需要大量的迭代次數才能找到最小值，而牛頓法只需要少量的次數便可完成。但是梯度法中的每一次迭代的代價要小，其復雜度為O(n),而牛頓法的每一次迭代的代價要大，為O(n^3)。因此當特征的數量n比較小時適合選擇牛頓法，當特征數n比較大時，最好選梯度法。這里的大小以n等于1000為界來計算。

　　如果當系統的輸入特征有多個，而系統的訓練樣本比較少時，這樣就很容易造成over-fitting的問題。這種情況下要么通過降維方法來減小特征的個數（也可以通過模型選擇的方法），要么通過regularization的方法，通常情況下通過regularization方法在特征數很多的情況下是最有效，但是要求這些特征都只對最終的結果預測起少部分作用。因為規則項可以作用在參數上，讓最終的參數很小，當所有參數都很小的情況下，這些假設就是簡單假設，從而能夠很好的解決over-fitting的問題。一般對參數進行regularization時，前面都有一個懲罰系數，這個系數稱為regularization parameter，如果這個規則項系數太大的話，有可能導致系統所有的參數最終都很接近0，所有會出現欠擬合的現象。在多元線性回歸中，規則項一般懲罰的是參數1到n（當然有的也可以將參數0加入懲罰項，但不常見）。隨著訓練樣本的增加，這些規則項的作用在慢慢減小，因此學習到的系統的參數傾向而慢慢增加。規則項還有很多種形式，有的規則項不會包含特征的個數，如L2-norm regularization(或者叫做2-norm regularization).當然了，還有L1-norm regularization。由于規則項的形式有很多種，所以這種情形也稱為規則項的common variations.

　　在有規則項的線性回歸問題求解中，如果采用梯度下降法，則參數的更新公式類似（其中參數0的公式是一樣的，因為規則項中沒有懲罰參數0），不同之處在于其它參數的更新公式中的更新不是用本身的參數去減掉后面一串，而是用本身參數乘以（1-alpha*lamda/m）再減掉其它的，當然了這個數在很多情況下和1是相等的，也就很前面的無規則項的梯度下降法類似了。它的normal equation也很前面的類似，大致為inv(X’*X+lamda*A)*X’*y,多了一項，其中A是一個對角矩陣，除了第一個元素為0外，其它元素都為1（在通用規則項下的情形）。這種情況下前面的矩陣一般就是可逆的了，即在樣本數量小于特征數量的情況下是可解的。當為logistic回歸的情況中（此時的loss函數中含有對數項），如果使用梯度下降法，則參數的更新方程中也和線性回歸中的類似，也是要乘以（1-alpha*lamda/m），nomal equation中也是多了一個矩陣，這樣同理就解決了不可逆問題。在牛頓法的求解過程中，加了規則項后的一元導向量都隨著改變，hession矩陣也要在最后加入lamda/m*A矩陣，其中A和前面的一樣。

　　logistic回歸與多充線性回歸實際上有很多相同之處，最大的區別就在于他們的因變量不同，其他的基本都差不多，正是因為如此，這兩種回歸可以歸于同一個家族，即廣義線性模型（generalized linear model）。這一家族中的模型形式基本上都差不多，不同的就是因變量不同，如果是連續的，就是多重線性回歸，如果是二項分布，就是logistic回歸，如果是poisson分布，就是poisson回歸，如果是負二項分布，就是負二項回歸，等等。只要注意區分它們的因變量就可以了。logistic回歸的因變量可以是二分類的，也可以是多分類的，但是二分類的更為常用，也更加容易解釋。所以實際中最為常用的就是二分類的logistic回歸。

?

　　參考資料：

? ? ?http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning

? ? ?http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial

?

?

?

?

作者：tornadomeet出處：http://www.cnblogs.com/tornadomeet歡迎轉載或分享，但請務必聲明文章出處。 （新浪微博：tornadomeet,歡迎交流！）

總結

以上是生活随笔為你收集整理的Deep learning：一(基础知识_1)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。