Softmax回歸模型

整體理解

回歸與分類

借用網(wǎng)上一個(gè)帖子的回復(fù)：分類問題和回歸問題都要根據(jù)訓(xùn)練樣本找到一個(gè)實(shí)值函數(shù)g(x). 回歸問題的要求是：給定一個(gè)新的模式，根據(jù)訓(xùn)練集推斷它所對應(yīng)的輸出y（實(shí)數(shù)）是多少。也就是使用y=g(x)來推斷任一輸入x所對應(yīng)的輸出值。分類問題是：給定一個(gè)新的模式，根據(jù)訓(xùn)練集推斷它所對應(yīng)的類別（如：+1，-1）。也就是使用y=sign(g(x))來推斷任一輸入x所對應(yīng)的類別。綜上，回歸問題和分類問題的本質(zhì)一樣，不同僅在于他們的輸出的取值范圍不同。分類問題中，輸出只允許取兩個(gè)值；而在回歸問題中，輸出可取任意實(shí)數(shù)。

Softmax回歸

是一個(gè)分類器，從多個(gè)類中選擇一個(gè)，哪一個(gè)類別的概率高就選擇哪個(gè)類。longistic回歸是從兩個(gè)類中選擇一個(gè)，用sigmoid函數(shù)或tanh函數(shù)映射到對應(yīng)的類。
關(guān)鍵問題是代價(jià)函數(shù)，目的是使代價(jià)函數(shù)的值最小。既然是分類問題，訓(xùn)練的時(shí)候的代價(jià)函數(shù)就要以分錯(cuò)的多少作為代價(jià)函數(shù)。于是，softmax的代價(jià)函數(shù)：

對參數(shù)求導(dǎo)：

對參數(shù)的求導(dǎo)，自己計(jì)算的不對，在@曉輝@永恒的電波（deep learning高質(zhì)量）的幫助下，總算理解了。把他們寫的圖直接上了。

總和：對于和式的求導(dǎo)，要把式子拆開再求導(dǎo)，我自己相當(dāng)于只求了其中的一部分。

與稀疏自編碼的比較

目的不同：稀疏自編碼的目的是為了壓縮表示，而softmax regression 是為了分類。

訓(xùn)練方式不同：稀疏自編碼是無監(jiān)督的，而softmax regression是監(jiān)督的。

結(jié)構(gòu)不同：稀疏自編碼是一個(gè)輸入層、一個(gè)隱藏層，還有一個(gè)輸出層——編碼和解碼；而Softmax只有兩層，一層是輸入，一層是輸出。

參數(shù)：本質(zhì)是一樣的，就是層間的聯(lián)系。但是表示形式不同，稀疏自編碼用的是[w1,b1,w2,b2]，而softmax是theta，其實(shí)就是[w1,b1].

總結(jié)

以上是生活随笔為你收集整理的深度学习笔记三：Softmax Regression的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。