01|基本概念：

在介紹邏輯回歸模型以前，先介紹一下邏輯斯諦分布。

設X是連續型隨機變量，X服從邏輯斯蒂分布是指X具有下列分布函數F(x)和密度函數f(x)：

邏輯斯諦分布的分布函數F(x)的曲線如圖所示，其圖形是一條S形曲線，曲線在中心附近增長最快，在兩端增長速度較慢。當x無窮大時，F(x)接近于1；當x無窮小時，F(x)接近于0。

(邏輯回歸分布函數)

02|二項邏輯斯諦回歸模型：

二項邏輯斯蒂回歸模型是一種分類模型，由條件概率分布P(Y|X)表示，形式為參數化的邏輯斯蒂分布？這里隨機變量X取值為實數，隨機變量Y取值為1或0。

二項邏輯斯諦回歸模型是如下的條件概率分布：

這里x屬于實數，Y屬于{0,1}是輸出，w和b是參數，w稱為權值向量，b稱為偏置，為w和x的內積。

對于給定的輸入實例x，按照上述分布函數可以求得P(Y=1|x)和P(Y=0|x)。邏輯斯諦回歸是比較兩個條件概率值的大小，將實例x分到概率值大的那一類。

有時候為了方便，將權值向量和輸入向量加以擴充，仍記作w,x，即

,。這時，邏輯斯蒂回歸模型如下：

得到上面的回歸模型了，上面的回歸模型中有一個未知參數w，在利用上述的模型對數據進行預測之前需要先求取參數w的值，這里采用極大似然估計的方法求取參數w。

設

,

似然函數為：

對數似然函數為：

這樣問題就變成了以對數似然函數為目標函數的最優化問題。邏輯斯蒂回歸學習中通常采用的方法是梯度下降法以及擬牛頓法。

將利用極大似然估計得到的w值代入上述的模型中，即可用于測試數據集的預測。

03|多項邏輯斯蒂回歸：

二項邏輯斯諦回歸模型是二項分類模型，用于二分類問題中。可以將其推廣到多項邏輯斯諦回歸模型，用于多分類問題。假設離散型隨機變量Y的可能取值集合是{1,2,...,K}，那么多項邏輯斯諦回歸模型是：

總結

以上是生活随笔為你收集整理的机器学习第八篇：详解逻辑斯蒂回归算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。