4.1 用極大似然估計法推導樸素貝葉斯法中的先驗概率估計公式(4.8)和條件概率估計公式(4.9)

首先是(4.8)
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$
###################下面開始證明###############################
下面的$a_{jl}$表示的是第j個特征可能取的第$l$個值
$x_i^{（j）}$指的是第j個樣本的第j個特征
$$P(x^{(j)}=a_{jl}|Y=c_k)$$
$$=\frac{{\sum }_{1=1}^N(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(Y=c_k)}$$
設$p=P(Y=c_k)$
相當于從樣本中獨立同分布地隨機抽取N個樣本，每個樣本的結果為$y_i$

似然概率
$P(y_1,y_2,...,y_n)$
$=p^{{\sum }_{i=1}^N?I(y_i=c_k)}?(1?p{)}^{{\sum }_{i=1}^{N}I(y_i?=c_k)}$
然后求解最大似然概率：
$$\frac{dP(y_1,y_2,...,y_n)}{dp}$$
$$=\sum _{i=1}^{N}I(y_i=c_k)p^{{\sum }_{i=1}^{N}I(y_i=c_k)?1}?(1?p{)}^{{\sum }_{i=1}^{N}I(y_i?=c_k)}$$
$$?\sum _{i=1}^{N}I(y_i?=c_k)(1?p{)}^{{\sum }_{i=1}^{N}I(y_i?=c_k)?1}?p^{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

$$=p^{[{\sum }_{i=1}^{N}I(y_i=c_k)]?1}?(1?p{)}^{[{\sum }_{i=1}^{N}I(y_i?=c_k)]?1}$$
$$?[(1?p)\sum _{i=1}^{N}I(y_i=c_k)?p\sum _{i=1}^{N}I(y_i?=c_k)]=0$$

$$\therefore [(1?p)\sum _{i=1}^{N}I(y_i=c_k)?p\sum _{i=1}^{N}I(y_i?=c_k)]=0$$
$$又\because {\Sigma }_i^{N}I(y_i=c_k)=p(\sum _{i=1}^{N}I(y_i=c_k)+\sum _{i=1}^{N}I(y_i?=c_k))=pN$$

$$\therefore p=P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}①$$
(4.8)證明結束
###############################################
接下來證明(4.9)
$$P(X^{(j)}=a_{jl}|Y=c_k)$$
$$=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
$$j\in [1,n]$$
$$l\in [1,S_j]$$
$$k\in [1,K]$$
##############下面開始證明#########
$$P(Y=c_k,x^{(j)}=a_{ij})$$
$$=\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{N}②$$
而需要證明的式子的左邊是：
$$P(x^{(j)}=a_{jl}|Y=c_k)$$
$$=\frac{P(Y=c_k,x^{(j)}=a_{jl})}{P(Y=c_k)}③$$
接下來，
把①代入③的分母，
把②代入③的分子。
得到：
$$P(x^{(j)}=a_{jl}|Y=c_k)=\frac{[\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{N}]}{[\frac{{\sum }_{j=1}^{N}I(y_i=c_k)}{N}]}$$

$$=\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

(4.9)證明結束

#######下面開始證明(4.11)########################
假設先驗概率為均勻概率，那么有：
$$p=\frac{1}{k}=>pK?1=0(1)$$
另外根據①，也就是式(4.8)有以下關系：
$$pN?\sum _{i=1}^{N}I(y_i=c_k)=0（2）$$
注意：嚴格來講，上面（1）（2）中p，并不是同一個p
（1）中的p指的是樣本分布絕對均勻的情況
（2）中的p是根據實際樣本分布得到的數值
$$(1)?\lambda +(2)=0$$
∴
$$\lambda (pK?1)+pN?\sum _{i=1}^{N}I(y_i=c_k)=0$$
$$P(Y=c_k)=\frac{\lambda +{\sum }_{i=1}^{N}I(y_i=c_k)}{\lambda K+N}$$
(4.11)證明完畢
###############################

#######下面開始證明(4.10)########
根據(4.9)已知極大似然估計為：
$$p=P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
$=>$$p{\sum }_{i=1}^{N}I(y_i=c_k)?{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)=0$(3)

可以看到(4.10)與(4.9)十分相似，
但是(4.10)比(4.9)的分子和分母多了平滑項。
我們引入一個平滑條件：
當$Y=c_k$時，因為一個屬性會有$S_j$種取值，我們假設任意屬性的各個取值的對應的樣本數量是一致的。
那么就有以下關系：
$p=P(X^{(j)}=a_{jl}|Y=c_k)=\frac{1}{S_j}$
$=>$$p?S_j?1=0(4)$
$=>$$(3)+\lambda (4)=0$
$=>$
$(3)+\lambda (4)=p[{\sum }_{i=1}^{N}I(y_i=c_k)+S_j?\lambda ]?\lambda ?{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)=0$
$=>$

$$p=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j?\lambda }$$
(4.10)證明完畢

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的统计学习方法第四章课后习题（转载+重新排版+自己解读）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。