文章目錄

• 1 前言
• 2 什么是邏輯回歸
• 3 邏輯回歸的代價函數(shù)
• 4 利用梯度下降法求參數(shù)
• 5 結(jié)束語
• 6 參考文獻(xiàn)

1 前言

邏輯回歸是分類當(dāng)中極為常用的手段，因此，掌握其內(nèi)在原理是非常必要的。我會爭取在本文中盡可能簡明地展現(xiàn)邏輯回歸(logistic regression)的整個推導(dǎo)過程。

2 什么是邏輯回歸

邏輯回歸在某些書中也被稱為對數(shù)幾率回歸，明明被叫做回歸，卻用在了分類問題上，我個人認(rèn)為這是因?yàn)檫壿嫽貧w用了和回歸類似的方法來解決了分類問題。

假設(shè)有一個二分類問題，輸出為$y\in \{0,1\}$，而線性回歸模型產(chǎn)生的預(yù)測值為$z=w^{T}x+b$是實(shí)數(shù)值，我們希望有一個理想的階躍函數(shù)來幫我們實(shí)現(xiàn)$z$值到$0/1$值的轉(zhuǎn)化。

$$?(z)=?\begin{array}{r}0ifz<0\\ 0.5ifz=0\\ 1ifz>0\end{array}$$

然而該函數(shù)不連續(xù)，我們希望有一個單調(diào)可微的函數(shù)來供我們使用，于是便找到了$Sigmoidfunction$來替代。

$$?(z)=\frac{1}{1+e^{?z}}$$

兩者的圖像如下圖所示（圖片出自文獻(xiàn)2）

圖1：sigmoid & step function

有了$Sigmoidfuction$之后，由于其取值在$[0,1]$，我們就可以將其視為類$1$的后驗(yàn)概率估計$p(y=1|x)$。說白了，就是如果有了一個測試點(diǎn)$x$，那么就可以用$Sigmoidfuction$算出來的結(jié)果來當(dāng)做該點(diǎn)$x$屬于類別$1$的概率大小。

于是，非常自然地，我們把$Sigmoidfuction$計算得到的值大于等于$0.5$的歸為類別$1$，小于$0.5$的歸為類別$0$。

$$\hat{y}=\{\begin{array}{r}1if?(z)\ge 0.5\\ 0otherwise\end{array}$$

同時邏輯回歸與自適應(yīng)線性網(wǎng)絡(luò)非常相似，兩者的區(qū)別在于邏輯回歸的激活函數(shù)是$Sigmoidfunction$而自適應(yīng)線性網(wǎng)絡(luò)的激活函數(shù)是$y=x$，兩者的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示（圖片出自文獻(xiàn)1）。

圖2：自適應(yīng)線性網(wǎng)絡(luò)

圖3：邏輯回歸網(wǎng)絡(luò)

3 邏輯回歸的代價函數(shù)

好了，所要用的幾個函數(shù)我們都有了，接下來要做的就是根據(jù)給定的訓(xùn)練集，把參數(shù)$w$給求出來了。要找參數(shù)$w$，首先就是得把代價函數(shù)（cost function）給定義出來，也就是目標(biāo)函數(shù)。

我們第一個想到的自然是模仿線性回歸的做法，利用誤差平方和來當(dāng)代價函數(shù)。

$$J(w)=\sum _i\frac{1}{2}(?(z^{(i)})?y^{(i)}{)}^2$$

其中，$z^{(i)}=w^T{x}^{(i)}+b$，$i$表示第$i$個樣本點(diǎn)，$y^{(i)}$表示第$i$個樣本的真實(shí)值，$?(z^{(i)})$表示第$i$個樣本的預(yù)測值。

這時，如果我們將$?(z^{(i)})=\frac{1}{1+e^{?z^{(i)}}}$代入的話，會發(fā)現(xiàn)這是一個非凸函數(shù)，這就意味著代價函數(shù)有著許多的局部最小值，這不利于我們的求解。

圖4：凸函數(shù)和非凸函數(shù)

那么我們不妨來換一個思路解決這個問題。前面，我們提到了$?(z)$可以視為類$1$的后驗(yàn)估計，所以我們有

$$p(y=1|x;w)=?(w^{T}x+b)=?(z)$$

$$p(y=0|x;w)=1??(z)$$

其中，$p(y=1|x;w)$表示給定$w$，那么$x$點(diǎn)$y=1$的概率大小。

上面兩式可以寫成一般形式

$$p(y|x;w)=?(z{)}^y(1??(z){)}^{(1?y)}$$

接下來我們就要用極大似然估計來根據(jù)給定的訓(xùn)練集估計出參數(shù)$w$。

$$L(w)=\prod _{i=1}^{n}p(y^{(i)}|x^{(i)};w)=\prod _{i=1}^n(?(z^{(i)}){)}^{y^{(i)}}(1??(z^{(i)}){)}^{1?y^{(i)}}$$

為了簡化運(yùn)算，我們對上面這個等式的兩邊都取一個對數(shù)

$$l(w)=lnL(w)=\sum _{i=1}^n{y}^{(i)}ln(?(z^{(i)}))+(1?y^{(i)})ln(1??(z^{(i)}))$$

我們現(xiàn)在要求的是使得$l(w)$最大的$w$。沒錯，我們的代價函數(shù)出現(xiàn)了，我們在$l(w)$前面加個負(fù)號不就變成就最小了嗎？不就變成我們代價函數(shù)了嗎？

$$J(w)=?l(w)=?\sum _{i=1}^n{y}^{(i)}ln(?(z^{(i)}))+(1?y^{(i)})ln(1??(z^{(i)}))$$

為了更好地理解這個代價函數(shù)，我們不妨拿一個例子的來看看

$$J(?(z),y;w)=?yln(?(z))?(1?y)ln(1??(z))$$

也就是說

$$J(?(z),y;w)=\{\begin{array}{ll}?ln(?(z))& ify=1\\ ?ln(1??(z))& ify=0\end{array}$$

我們來看看這是一個怎么樣的函數(shù)

圖5：代價函數(shù)

從圖中不難看出，如果樣本的值是$1$的話，估計值$?(z)$越接近$1$付出的代價就越小，反之越大；同理，如果樣本的值是$0$的話，估計值$?(z)$越接近$0$付出的代價就越小，反之越大。

4 利用梯度下降法求參數(shù)

在開始梯度下降之前，要這里插一句，$sigmoidfunction$有一個很好的性質(zhì)就是

$${?}^{\prime }(z)=?(z)(1??(z))$$

下面會用到這個性質(zhì)。

還有，我們要明確一點(diǎn)，梯度的負(fù)方向就是代價函數(shù)下降最快的方向。什么？為什么？好，我來說明一下。借助于泰特展開，我們有

$$f(x+\delta )?f(x)\approx f^{\prime }(x)?\delta$$

其中，$f^{\prime }(x)$和$\delta$為向量，那么這兩者的內(nèi)積就等于

$$f^{\prime }(x)?\delta =||f^{\prime }(x)||?||\delta ||?cos\theta$$

當(dāng)$\theta =\pi$時，也就是$\delta$在$f^{\prime }(x)$的負(fù)方向上時，取得最小值，也就是下降的最快的方向了~

okay？好，坐穩(wěn)了，我們要開始下降了。

$$w:=w+\Delta w,\Delta w=?\eta ?J(w)$$

沒錯，就是這么下降。沒反應(yīng)過來？那我再寫詳細(xì)一些

$$w_j:=w_j+\Delta w_j,\Delta w_j=?\eta \frac{?J(w)}{?w_j}$$

其中，$w_j$表示第$j$個特征的權(quán)重；$\eta$為學(xué)習(xí)率，用來控制步長。

重點(diǎn)來了。

$$\begin{array}{rl}& \frac{?J(w)}{w_j}=?\sum _{i=1}^n(y^{(i)}\frac{1}{?(z^{(i)})}?(1?y^{(i)})\frac{1}{1??(z^{(i)})})\frac{??(z^{(i)})}{?w_j}\\ & =?\sum _{i=1}^n(y^{(i)}\frac{1}{?(z^{(i)})}?(1?y^{(i)})\frac{1}{1??(z^{(i)})})?(z^{(i)})(1??(z^{(i)}))\frac{?z^{(i)}}{?w_j}\\ & =?\sum _{i=1}^n(y^{(i)}(1??(z^{(i)}))?(1?y^{(i)})?(z^{(i)}))x_j^{(i)}\\ & =?\sum _{i=1}^n(y^{(i)}??(z^{(i)}))x_j^{(i)}\end{array}$$

所以，在使用梯度下降法更新權(quán)重時，只要根據(jù)下式即可

$$w_j:=w_j+\eta \sum _{i=1}^n(y^{(i)}??(z^{(i)}))x_j^{(i)}$$

此式與線性回歸時更新權(quán)重用的式子極為相似，也許這也是邏輯回歸要在后面加上回歸兩個字的原因吧。

當(dāng)然，在樣本量極大的時候，每次更新權(quán)重會非常耗費(fèi)時間，這時可以采用隨機(jī)梯度下降法，這時每次迭代時需要將樣本重新打亂，然后用下式不斷更新權(quán)重。

$$w_j:=w_j+\eta (y^{(i)}??(z^{(i)}))x_j^{(i)},foriinrange(n)$$

也就是去掉了求和，而是針對每個樣本點(diǎn)都進(jìn)行更新。

5 結(jié)束語

以上就是我參考了基本書中的說法之后對邏輯回歸整個推到過程的梳理，也不知道講清楚沒有。
如有不足，還請指正~

6 參考文獻(xiàn)

[1] Raschka S. Python Machine Learning[M]. Packt Publishing, 2015.
[2] 周志華. 機(jī)器學(xué)習(xí) : = Machine learning[M]. 清華大學(xué)出版社, 2016.

總結(jié)

以上是生活随笔為你收集整理的逻辑回归(logistic regression)的本质——极大似然估计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。