1 邏輯回歸介紹

????????logistic regressioin是一種二分類算法，通過sigmoid激活函數(shù)將線性組合壓縮到0和1之間，來代表屬于某一個分類的屬性? ? ?

????????雖然其中帶有"回歸"兩個字，但邏輯回歸其實是一個分類模型

????????

?

????????好處在于輸出值自然地落在0到1之間，并且有概率意義。模型清晰，有對應的概率學理論基礎(chǔ)。

????????但同時由于其本質(zhì)上是一個線性的分類器，所以不能應對較為復雜的數(shù)據(jù)情況。很多時候我們也會拿邏輯回歸模型去做一些任務(wù)嘗試的baseline

2 三步法解釋邏輯斯蒂回歸

?還是使用李宏毅教授所說的深度學習三步法來理解模型：

2.1??Step 1 function set

?

?2.1.1 sigmoid

將所有結(jié)果壓縮到[0~1]上——可以用來進行二元分類，σ(x)表示了一個類的概率

?2.1.2 sigmoid的好處

2.2?Step2 goodness of a function

?C1的概率是f，那么C2的概率就是1-f

?

?我們引入交叉熵

交叉熵判斷兩個分布的相似程度，如果兩個分布一模一樣，那么交叉熵最小（除非兩個分布都是one-hot，否則不可能交叉熵是0）

?

交叉熵能夠衡量同一個隨機變量中的兩個不同概率分布的差異程度，在機器學習中就表示為真實概率分布與預測概率分布之間的差異。交叉熵的值越小，模型預測效果就越好。

交叉熵在分類問題中常常與softmax是標配，softmax將輸出的結(jié)果進行處理，使其多個分類的預測值和為1，再通過交叉熵來計算損失。

2.2.1 從最大似然估計的角度理解交叉熵

?對于一個隨機變量，假設(shè)類別1的概率是θ，類別0的概率是1-θ

?那么，出現(xiàn)n次1和m次0的概率是：

?取log+極大似然估計，有：

??將上式對θ求導，有，結(jié)果也是符合直觀的?

??我們引入邏輯斯蒂回歸的損失函數(shù)：交叉熵

2.3?Step 3 find best function

?我們首先看

我們令?

那么我們有：

與此同時，我們有：?(σ是sigmoid函數(shù)）

所以有

()

?

?所以=

?

?然后我們看

?

?同樣令

?

?

所以=

?綜合起來，有：

3 邏輯斯蒂回歸和線性回歸

?4?能否用均方誤差代替交叉熵

我們考慮一下logistic regression+MSE

?也就是說，無論我們預測的是0還是1，我們對應的梯度都是0

?

也就是，在遠離target的地方，我們也更新的很慢（但因為我們不知道到底現(xiàn)在是靠近target，還是遠離target，所以我們也不能通過調(diào)整學習率）

?4?從極大似然估計的角度看邏輯回歸

?

?

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：logistic regression的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。