第4章 樸素貝葉斯法

樸素貝葉斯 (naive Bayes) 法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。對(duì)于給定的訓(xùn)練數(shù)據(jù)集，首先基于特征條件獨(dú)立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布；然后基于此模型，對(duì)給定的輸入x，利用貝葉斯定理求出后驗(yàn)概率最大的輸出Y。

4.1 樸素貝葉斯法的學(xué)習(xí)與分類

基本方法 樸素貝葉斯法通過訓(xùn)練數(shù)據(jù)集學(xué)習(xí)X和Y的聯(lián)合概率分布 P(X,Y)。 具體地，學(xué)習(xí)以 下先驗(yàn)概率分布及條件概率分布。 先驗(yàn)概率分布 條件概率分布
條件概率分布有指數(shù)級(jí)數(shù)量的參數(shù)，其估計(jì)實(shí)際是不可行的。樸素貝葉斯法對(duì)條件概率分布作了條件獨(dú)立性的假設(shè)。條件獨(dú)立性假設(shè)是說用于分類的特征在類確定的條件下都是條件獨(dú)立的。 樸素貝葉斯法實(shí)際上學(xué)習(xí)到生成數(shù)據(jù)的機(jī)制，所以屬于生成模型。 樸素貝葉斯法通過最大后驗(yàn)概率(MAP)準(zhǔn)則進(jìn)行類的判決，基于貝葉斯定理，后驗(yàn)概率為： 分母相同，則分類器可表示為 ? 后驗(yàn)概率最大化等價(jià)于0-1損失函數(shù)時(shí)的期望風(fēng)險(xiǎn)最小化。

4.2 樸素貝葉斯法的參數(shù)估計(jì)

極大似然估計(jì) 先驗(yàn)概率的極大似然估計(jì)： ?? 設(shè)第j個(gè)特征x^(j)可能取值的集合為，條件概率的極大似然估計(jì)： ? ? 總結(jié)算法： 貝葉斯估計(jì) 用極大似然估計(jì)可能會(huì)出現(xiàn)所要估計(jì)的概率值為0的情況，使分類產(chǎn)生偏差，解決這一問題的方法是采用貝葉斯估計(jì)。條件概率的貝葉斯估計(jì)為：
式中l(wèi)amda>=0。等價(jià)于在隨機(jī)變量各個(gè)取值的頻數(shù)上賦予一個(gè)正數(shù)。常取lamda=1，稱為拉普拉斯平滑( Laplace smoothing)。同樣，先驗(yàn)概率的貝葉斯估計(jì)為：

總結(jié)

以上是生活随笔為你收集整理的统计学习方法第四章朴素贝叶斯法-李航的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。