機器學習是一門對數學有很高要求的學科，在正式開始學習之前，我們需要掌握一定的數學理論，主要包括概率論、決策論、信息論。

一、極大似然估計（Maximam Likelihood Estimation，MLE ）

在了解極大似然估計之前，我們首先要明確什么是似然函數（likelihood function），對于$p(x|\theta )$，
當$\theta$是已知，$x$是變量，$p(x|\theta )$表示概率函數，描述的是$x$出現的概率是多少；
當$x$是已知，$\theta$是變量，$p(x|\theta )$表示似然函數，描述的是對于不同的模型（$\theta$決定）出現樣本點$x$的概率是多少。
似然可以理解為概率，只是表征的含義不同，通常利用求極大似然來確定模型參數，極大似然的描述如下：
極大似然估計是一種已知樣本，估計參數的方法。通過給定樣本集$D$估計假定模型的參數，極大似然估計可以幫助我們從參數空間中選擇參數，使該參數下的模型產生$D$的概率最大。

1.求解極大似然函數
重要前提：訓練樣本的分布能夠代表樣本的真實分布，每個樣本集中的樣本都是獨立同分布的隨機變量，并且有充分的訓練樣本。
已知樣本集D={$x_1,x_2,x_3,...,x_m$}，{$y_1,y_2,y_3,...,y_m$}，則似然函數表示為
$L(\theta )=p(y|x;\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )$，
確定$\theta$使模型出現樣本集D的概率（表示為條件概率）最高即為我們所求，即
$\theta =argmaxL(\theta )=argmax\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )$，
為便于計算與分析，定義了對數似然函數$H(\theta )=logL(\theta )$，$\theta =argmax\sum _{i=1}^{m}logp(y^{(i)}|x^{(i)};\theta )$，現在我們確定了目標函數$H(\theta )$，需要求得一組$\theta$使$H(\theta )$最大，可以通過求導數的方法解決這個問題，以高斯分布的參數估計（Gaussian Parameter Estimation）為例，求解過程如下，
設樣本服從正態分布$N(\mu ,{\sigma }^2)$，首先寫出似然函數$L(\mu ,{\sigma }^2)=p(x;\mu ,{\sigma }^2)=\prod _{n=1}^{N}N(x_n;\mu ,{\sigma }^2)$

$L(\mu ,{\sigma }^2)$的對數為：

求導，得方程組：

解得：

???????

2.誤差平方和的解釋
在模式識別與機器學習（一）中我們講到采用誤差平方和原理來求解多項式系數，為何使用誤差平方和作為衡量模型精度的標準呢？用極大似然估計可以解釋。
我們觀察下圖，這是上一節課中講到的多項式曲線擬合模型，紅色曲線代表擬合結果，藍色點代表樣本點。

我們把每一個$x$看作獨立的隨機變量，對應的樣本點$t$服從均值為$y(x_0,w)$的正態分布（一般來講，誤差服從均值為零的正態分布，平移$y(x_0,w)$個單位），即$p(t|x_0,w,\beta )=N(t|y(x_0,w),{\beta }^{?1})$，利用極大似然估計，使$t$出現的概率最大，$p(t|x,w,\beta )=\prod _{n=1}^{N}N(t_n|y(x_n,w),{\beta }^{?1})$，$\ln p(t|x,w,\beta )=?\frac{\beta }{2}\sum _{n=1}^N\{y(x_n,w)?t_n{\}}^2+\frac{N}{2}\ln \beta ?\frac{N}{2}\ln (2\pi )$，觀察此式，我們想要求得此式的極大值，則需使$\frac{1}{2}\sum _{n=1}^N\{y(x_n,w)?t_n{\}}^2$取得最小值，得證。

極大似然估計是三種機器學習方法中最基礎的一種，其余兩種分別是貝葉斯估計方法和貝葉斯學習方法，極大似然估計和貝葉斯估計的計算結果是精確的參數值，而貝葉斯學習的計算結果是概率區間，在后邊我們會單獨一章細致地進行學習，這三種方法是機器學習的主線，掌握這三種方法的原理才能對后邊各種模型的學習和理解游刃有余。

3.貝葉斯估計（最大后驗概率，MAP）
我們需要知道，使用極大似然估計方法容易使模型產生過擬合，在上一章中我們解決的辦法是增加正則項，并且證明了正則項有效地解決了過擬合問題?，F在我們嘗試從貝葉斯估計的角度推導出正則項的由來與合理性。

由貝葉斯公式我們得知，$posterior\propto likelihood\times prior$，即后驗概率可由似然與先驗概率相乘得到，之前講到的極大似然估計，我們僅僅用到了$likelihood$，現在我們假設參數有一個先驗概率，如此便可通過公式求得后驗概率，接下來與極大似然類似的，使后驗概率最大，求得模型參數。
假定對參數$w$，先驗概率為$p(w|\alpha )=N(w|0,{\alpha }^{?1}I)=(\frac{\alpha }{2\pi }{)}^{(M+1)/2}exp\{?\frac{\alpha }{2}{w}^{T}w\}$,
根據貝葉斯公式，求得后驗概率$p(w|x,t,\alpha ,\beta )\propto p(t|x,w,\beta )\times p(w|\alpha )$，將似然函數與先驗概率帶入式中得到后驗概率的數學表達式。欲使后驗概率獲得最大值，等價于$\beta E(w)=\frac{\beta }{2}\sum _{n=1}^N\{y(x_n,w)?t_n{\}}^2+\frac{\alpha }{2}{w}^{T}w$取得最小值，我們發現，表達式中$\frac{\alpha }{2}{w}^{T}w$即為前述的正則項，得證。
極大似然估計易導致過擬合，貝葉斯估計為參數提供了先驗概率，形式上增加了正則函數，結果上抑制了過擬合的產生。

二、概率論基礎（Probability Theory）

1.$p(X)=\sum _{Y}p(X,Y)$?????????$p(X,Y)=p(Y|X)p(X)$
2.貝葉斯理論（Bayes’Theorem）
$p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}$ ????????? $posterior\propto likelihood\times prior$
3.概率函數
累積分布函數：描述隨機變量取值分布規律的數學表示，表示對于任何實數$x$，事件$X<x$的概率。
概率密度函數：描述隨機變量的輸出值，在某個確定的取值點附近的可能性的函數。隨機變量的取值落在某個區域之內的概率為概率密度函數在這個區域上的積分。當概率密度函數存在的時候，累積分布函數是概率密度函數的積分。概率密度函數表示的是概率的分布情況，在某個點取值高說明樣本在該點附近出現的概率大。

$p(x)$表示概率密度函數，$P(x)$表示概率分布函數。
$p(x\in (a,b))={\int }_a^{b}p(x)dx$? ? ? ? ? ?$p(x)\ge 0$? ? ? ? ? ?${\int }_{?\infty }^{\infty }p(x)dx=1$? ? ? ? ? ?$P(z)={\int }_{?\infty }^{z}p(x)dx$

數學期望：試驗中每次可能結果的概率乘以其結果的總和，數學期望可以理解為均值。
$E[f]=\sum _{x}p(x)f(x)$? ? ? ? ? ?$E[f]=\int p(x)f(x)dx$
4.高斯分布（Gaussian Distribution）
若隨機變量X服從一個數學期望為$\mu$、標準方差為${\sigma }^2$的高斯分布，記為：$X$~$N(\mu ,{\sigma }^2)$，概率密度如下圖所示，

$N(x|\mu ,{\sigma }^2)=\frac{1}{(2\pi {\sigma }^2{)}^{1/2}}exp\{?\frac{1}{2{\sigma }^2}(x?\mu {)}^2\}$? ? ? ? ? ?$N(x|\mu ,{\sigma }^2)>0$? ? ? ? ? ?${\int }_{?\infty }^{\infty }N(x|\mu ,{\sigma }^2)dx=1$
$E[x]={\int }_{?\infty }^{\infty }N(x|\mu ,{\sigma }^2)xdx=\mu$? ? ? ? ? ?$E[x^2]={\int }_{?\infty }^{\infty }N(x|\mu ,{\sigma }^2)x^{2}dx={\mu }^2+{\sigma }^2$
二元高斯分布如下圖所示，

三、信息熵（Entropy）

信息熵在編碼學、統計學、物理學、機器學習中有很重要的應用，我們有必要對信息熵的相關知識具備一定程度的了解。

1.信息量
信息量用一個信息的編碼長度來定義，一個信息的編碼長度與其出現概率是呈負相關的，可以理解為為使總信息編碼量最低，出現高概率的的信息編碼長度應相對短，也就是說，一個詞出現的越頻繁,則其編碼方式也就越短。信息量計算方法為，
$I={\log }_2(\frac{1}{p(x)})=?{\log }_2(p(x))$

2.信息熵
信息熵代表一個分布的信息量（信息量的均值），或者編碼的平均長度，
$H(p)=\sum _{x}p(x){\log }_2(\frac{1}{p(x)})=?\sum _{x}p(x){\log }_2(p(x))$
從數學公式中可以看出，信息熵實際上是一個隨機變量的信息量的數學期望，那么信息熵的含義是什么呢？信息熵是系統有序化程度的度量，系統越有序，信息熵越低，也就是說，系統中各種隨機性的概率越均等，不確定性越高，信息熵越大，反之越小。為什么有這種對應關系呢？我們假設系統有兩個事件$A$和$B$，當$P(A)=P(B)=\frac{1}{2}$時，我們無法判斷會發生事件$A$還是$B$，這時系統的不確定性高、系統無序；當$P(A)=\frac{99}{100}$，$P(B)=\frac{1}{100}$，此時大概率發生事件$A$，系統具有一定的確定性、相對有序。前者信息熵高，后者信息熵低。
接下來我們舉一個信息熵計算的例子，如下所示，

$H(p)=?\frac{1}{2}{\log }_2\frac{1}{2}?\frac{1}{4}{\log }_2\frac{1}{4}?\frac{1}{8}{\log }_2\frac{1}{8}?\frac{1}{16}{\log }_2\frac{1}{16}?\frac{4}{64}{\log }_2\frac{1}{64}=2bits$

$average$ $code$ $length$$=\frac{1}{2}\times 1+\frac{1}{4}\times 2+\frac{1}{8}\times 3+\frac{1}{16}\times 4+4\times \frac{1}{16}\times 6=2bits$
信息熵代表編碼的平均長度。

3.相對熵（KL散度）
相對熵又稱KL散度，對于同一個隨機變量$x$有兩個單獨的概率分布$p(x)$和$q(x)$，我們可以用KL散度(Kullback-Leibler Divergence)來衡量這兩個分布的差異。在機器學習中，P表示樣本的真實分布，Q表示模型預測的分布。
KL散度的計算公式為：$p$對$q$的相對熵$D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)\log (\frac{p(x_i)}{q(x_i)})$，$D_{KL}$的值越小，表示$q$分布和$p$分布越接近。

4.交叉熵（cross-entropy）
$D_{KL}$可以變形得到$D_{KL}=\sum _{i=1}^{n}p(x_i)\log p(x_i)?\sum _{i=1}^{n}p(x_i)\log q(x_i)=?H(p(x))+[?\sum _{i=1}^{n}p(x_i)\log q(x_i)]$，等式的前一部分是$p$的信息熵，等式的后一部分就是交叉熵，
$H(p,q)=?\sum _{i=1}^{n}p(x_i)\log q(x_i)$。在機器學習中，需要評估$label$和$predict$之間的差距，應使用相對熵來衡量，由于$D_{KL}$的前一部分不變，所以在優化過程中，只需關注交叉熵即可，因此在機器學習中常常用交叉熵作為$loss$來評估模型。

未完待續

總結

以上是生活随笔為你收集整理的模式识别与机器学习笔记（二）机器学习的基础理论的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。