文章目錄

• 概述
• • 兩個重要函數
  • 預測的基本思想
• 二元邏輯回歸
• • 線性模型的簡單回顧
  • 從線性回歸到二元邏輯回歸
  • 參數怎么估計
  • 梯度下降
  • 牛頓迭代

---

最近修改：2021/6/17

原文《從二元邏輯回歸到多元邏輯回歸 · 推導過程完全解析》經過多次修改后變得越來越長，因此筆者將其分為兩部分：

第一部分：二元邏輯回歸 · 數學推導過程及代碼實現完全解析
第二部分：多元邏輯回歸 · 數學推導過程及代碼實現完全解析

概述

以下是此篇文章要用的包

# 加載包 import numpy as np import seaborn as sns import matplotlib.pyplot as plt sns.set_style('darkgrid')

兩個重要函數

二元邏輯回歸的出發點是sigmoid函數
$$S(x)=\frac{1}{1+e^{?x}}=\frac{e^x}{1+e^x}$$

Sigmoid函數能將實數域的連續數映射到0,1區間，概率的取值范圍就在0,1之間，因此可以用來做概率的預測。

以下是Sigmoid函數的代碼和圖像

x=np.arange(-10,10) y=1/(1+np.exp(-x)) plt.plot(x,y)

Output:

多元邏輯回歸的出發點是softmax函數
$$S(x)=\frac{e^{x_i}}{{\sum }_{j=1}^k{e}^{x_j}}$$
Softmax函數也是將實數域的連續數映射到0,1區間，進而可以理解為是概率。

以下是softmax函數的代碼和圖像

圖像的特點：

• 設向量x=[0,1,2,3,…,49]，其輸出也是一個向量y
• 這里Softmax函數會將x里的每個數映射到0,1區間
• 并且y里元素加和為一
• 數越大，其輸出也越大，即概率越大。

x=np.arange(0,50) y=np.exp(x)/np.sum(np.exp(x)) plt.plot(x,y) print('the sum of y={}'.format(y.sum()))

Output:
the sum of y=1.0

預測的基本思想

我們想處理分類問題，最基本的統計模型便是邏輯回歸，之所以使用它，最主要的原因是其輸出是在0,1之間。

注意，我們并不是直接輸出類別編號，而是一個概率值

然后我們會根據情況的不同來確定一個閾值,通常這個閾值定在0.5。比如，二元模型中(類別0和1)，我的輸出是P(Y=1)=0.75(0.75>0.5)，則認為此時Y是屬于類別1的。

---

二元邏輯回歸

線性模型的簡單回顧

要解釋二元邏輯回歸，我們得先來了解下什么是線性模型

首先這個模型建立在兩個個假設上

• 假設$y$和$X$之間是一個線性關系
• $y_i(i=1,2,3,...,n)$是獨立同分布

$y$和$X$之間的線性關系

$$y=X\beta$$

因變量$y$是一個nx1向量

$$y=?\begin{array}{c}{y}_1\\ y_2\\ ?\\ y_n\end{array}?$$

帶截距項的自變量$X$是一個nx(m+1)的矩陣
$$X=?\begin{array}{ccccc}1& x_{11}& x_{12}& ...& x_{1m}\\ 1& x_{21}& x_{21}& ...& x_{2m}\\ ?& ?& & ?& \\ 1& x_{n1}& x_{n2}& ...& x_{nm}\end{array}?$$

帶截距項的參數$\beta$是一個mx1向量
$$\beta =?\begin{array}{c}{\beta }_0\\ {\beta }_1\\ {\beta }_2\\ ?\\ {\beta }_m\end{array}?$$

從線性回歸到二元邏輯回歸

對于二值因變量$y_i$($y_i=0$或$y_i=1$)，我們的假設是$y_i(i=1,2,...,n)$ 獨立同分布Bernouli分布，即

$$y_i～Bernouli(P(y_i=1))$$
首先我們想到用最基本的線性回歸來估計$y_i$，在Bernouli分布中，$y_i$的均值是$P(y_i=1)$，因此我們的預測模型為

$$E(y_i)=P(y_i=1)=x_i\beta$$

但這樣做的缺點就是$x_i\beta$的取值可能會落在[0,1]之外，受Sigmoid函數的啟發，我們將預測模型改成
$$E(y_i)=P(y_i=1)=\frac{1}{1+e^{?x_i\beta }}$$
$\beta =({\beta }_0,{\beta }_1,\dots {\beta }_m{)}^{\prime }，且x_i=(1,x_{i1},x_{i2},\dots ,x_{im})，即x_i\beta ={\beta }_0+x_{i1}{\beta }_1+...+x_{im}{\beta }_m$

參數怎么估計

前面知道$Y_i$ 服從Bernouli分布，既然分布已知了，我們自然會想到用極大似然估計的方法去估計參數，此時的似然函數是
$$L(\beta )=f(y_1,y_2,..,y_n)=\prod _{j=1}^n{p}_i^{y_j}(1?p_i{)}^{1?y_i}=\prod _{j=1}^n(\frac{p_i}{1?p_i}{)}^{y_i}(1?p_i)$$
其中$p_i=P(Y_i=1)=\frac{1}{1+e^{?x_i\beta }}$，又發現這樣的關系$Log\frac{p_i}{1?p_i}=x_i\beta$，為了之后計算方便，先對上式兩邊取對數得到

$$LogL(\beta )=Logf(y_1,y_2,..,y_n)=\sum _{j=1}^n{y}_j(Log{p}_i)+(1?y_j)(Log(1?p_i))\text{\hspace{1em}(1)}$$$$=\sum _{j=1}^n{y}_{j}Log\frac{p_i}{1?p_i}+Log(1?p_i)=\sum _{j=1}^n{y}_j{x}_i\beta ?Log(1+e^{x_i\beta })\text{\hspace{1em}(2)}$$
最大化這個似然函數，并取此時滿足情況的$\beta$作為參數的估計值$\beta$，就能得到預測模型$E(Y_i)=P(Y_i=1)=\frac{1}{1+e^{?x_i\beta }}$了，而為什么要最大化這個似然函數呢，也就是極大似然估計的意義在哪？

• 因為我們的假設是$Y_i$獨立同分布，這里的似然函數實質就是$Y_i(i=1,2,...,n)$的聯合密度函數，當聯合密度函數最大的時候，也就是概率最大的時候，事件最可能發生的時候，所以我們會想去最大化似然函數。

我想大部分讀者都是對機器學習感興趣來的，那這我們用一個機器學習里的名詞，代價函數(Cost function)，來進行接下來的步驟，把(1)式做個小小修改就變成了，大家熟悉的代價函數

$$Cost(\beta )=?\frac{1}{n}\sum _{j=1}^n{y}_j(Log{p}_i)+(1?y_j)(Log(1?p_i))\text{\hspace{1em}(3)}$$

其實質就是將似然函數的對數函數做了一個平均，最大化似然函數的對數函數，也就是最小化這個代價函數

如果想要更嚴格地估計，我們還可以在這個基礎上，再添加懲罰項(Penalty)，這個步驟也叫正則化(Regularization)，常見的懲罰項是一范數和二范數，也分別叫做Lasso和Ridge，叫啥都無所謂，實質都是數學。

$$\begin{gathered} Cos{t}_{L_1}(\beta )=Cost(\beta )+\frac{\lambda }{n}\sum _{j=1}^m|{\beta }_j| \\ Cos{t}_{L_2}(\beta )=Cost(\beta )+\frac{\lambda }{2n}\sum _{j=1}^m{\beta }_j^2 \end{gathered}$$

明白了這層關系后，進一步的問題就在于如何最小化代價函數，并且得到其對應的參數$\beta$

求參數$\beta$的方法常用的有兩個，一個是梯度下降(Gradient descent)，另一個是牛頓迭代(Newton’s Iteration)。

梯度下降

對(3)式里的代價函數求導，而(3)式就是把(2)式做了一個變換$?\frac{(2)}{n}$，因此

$$\frac{?Cost(\beta )}{?\beta }=?\frac{1}{n}\frac{?(2)}{?\beta }=?\frac{1}{n}\sum _{j=1}^n{x}_i(y_j?p_i)$$

和之前一樣，這里$p_i=P(Y_i=1)=\frac{1}{1+e^{?x_i\beta }}$

$x_i$和$y_j$都是已知，給定初值${\beta }^{(0)}=[{\beta }_0^{(0)},{\beta }_1^{(0)},{\beta }_2^{(0)},...,{\beta }_m^{(0)}{]}^{\prime }$后，得到$p_i^{(0)}$，因此參數${\beta }_m^{(0)}$的更新可以寫成
$$\begin{gathered} {\beta }_m^{(t)}={\beta }_m^{(t?1)}?l?\frac{?Cost({\beta }^{(t?1)})}{?{\beta }^{(t?1)}} \\ ={\beta }_m^{(t?1)}?l?\frac{1}{n}\sum _{j=1}^n{x}_i(y_j?p_i^{(t?1)})\text{\hspace{1em}(4)} \end{gathered}$$
寫成矩陣的形式
$${\beta }^{(t)}={\beta }^{(t?1)}?l?\frac{1}{n}?X^T?(y?p)$$
其中$l$是學習速度(learning rate)，$X$是nx(m+1)的矩陣，$y$是nx1的向量，$p$是nx1的向量($p=[p_1,p_2,...,p_n{]}^{\prime }$)，在實際的操作中，我們會多次取不同的初值，由此希望達到全局最小值。

以下是梯度下降的簡單實現，其中省略了計算$p$的函數

def update_bata(X, y, beta, l):'''X: 自變量是一個(n,m+1)的矩陣y: 因變量是一個(n,1)的向量beta: 參數β是一個(m+1,1)的向量l: 學習速率'''n = len(y)#1 由(4)的算式得到p，設函數名為cal_pp= cal_p(X, beta)#2 (4)的一部分gradient = np.dot(X.T, y-p)#3 Take the average cost derivative for each featuregradient /= N#4 - Multiply the gradient by our learning rategradient *= l#5 - Subtract from our weights to minimize costbeta -= gradientreturn beta

牛頓迭代

可以說這個方法是從泰勒展開得到的靈感，$f(x)$在$x_k$處的展開式$f(x)=f(x_k)+f^{\prime }(x_k)(x?x_k)+\frac{1}{2!}{f}^{\prime \prime }(x_k)(x?x_k{)}^2+...$，我們想尋找滿足$f(x)=0$的$x$，即牛頓迭代的終點是$f(x)$收斂到0

在這我們只取前兩項，$h(x)=f(x_k)+f^{\prime }(x_k)(x?x_k)$，我們認為$h(x)$是$f(x)$的一個近似，那么有$f(x)=h(x)=0$，得到
$$x=x_k?\frac{f(x_k)}{f^{\prime }(x_k)}$$
進而有迭代
$$x_{k+1}=x_k?\frac{f(x_k)}{f^{\prime }(x_k)}$$
在我們的二元邏輯回歸中，代價函數就是這里的$f(x)$，參數$\beta$更新方法是
$${\beta }^{(k)}={\beta }^{(k?1)}?\frac{cost({\beta }^{(k?1)})}{cos{t}^{\prime }({\beta }^{(k?1)})}$$
直至代價函數趨近于0。這里做一個區分，梯度下降方法中的代價函數不一定趨近于0。

---

---

以上就是全部內容了，筆者從統計的角度大致解釋了下機器學習中邏輯回歸損失函數的來源，希望能幫助到各位讀者

總結

以上是生活随笔為你收集整理的二元逻辑回归 · 数学推导过程及代码实现完全解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。