《机器学习》 周志华学习笔记第七章 贝叶斯分类器(课后习题)python 实现
課后習題答案
1.試用極大似然法估算西瓜集3.0中前3個屬性的類條件概率。
好瓜有8個,壞瓜有9個
屬性色澤,根蒂,敲聲,因為是離散屬性,根據公式(7.17)
P(色澤=青綠|好瓜=是) = 3/8
P(色澤=烏黑|好瓜=是) = 4/8
P(色澤=淺白|好瓜=是) = 1/8
P(根蒂=蜷縮|好瓜=是) = 5/8
P(根蒂=稍蜷|好瓜=是) = 3/8
。。。自己計算
另外看到這種,假定概率分布在連續屬性上,離散屬性直接進行上邊的計算也可以
極大似然法要先假定一種概率分布形式。?
色澤:?
對于好瓜,假設?
P(色澤=青綠|好瓜)=σ1σ1?
P(色澤=烏黑|好瓜)=σ2σ2?
P(色澤=淺白|好瓜)=σ3σ3=1?σ1?σ21?σ1?σ2?
L(σ)=?iP(色澤=xi|好瓜)=σ31σ42(1?σ1?σ2)L(σ)=?iP(色澤=xi|好瓜)=σ13σ24(1?σ1?σ2)?
L′(σ1)=σ42σ21(3?4σ1?3σ2)L′(σ1)=σ24σ12(3?4σ1?3σ2)?
L′(σ2)=σ31σ32(4?4σ1?5σ2)L′(σ2)=σ13σ23(4?4σ1?5σ2)?
令L′(σ1)=0,L′(σ2)=0′(σ1)=0,L′(σ2)=0得σ1=38σ1=38,σ1=12σ1=12,σ3=18σ3=18?
可以看出σ1,σ2,σ3σ1,σ2,σ3分別對應他們在yangben中出現的頻率。
2.試證明:條件獨立性假設不成立時,樸素貝葉斯分類器任有可能產生最優分類器。
樸素貝葉斯分類器就是建立在條件獨立性假設上的。當有不獨立的屬性時,假如所有yangben不獨立的屬性取值相同時分類也是相同的,那么此時樸素貝葉斯分類器也將產生最優分類器。
3.試編程實現拉普拉斯修正的樸素貝葉斯分類器,并以西瓜數據集3.0為訓練集,并對“測1”進行分類。
python代碼
https://github.com/makang101/machinelearning
4.試述防止下溢的可能方案。
對乘積取自然對數。采取自然對數進行處理不會有任何的損失,兩條曲線增區間和減區間相同,并且在相同點上取得極值。
6.試編程實現AODE分類器,并以西瓜數據集3.0為訓練集,并對“測1”進行分類。
簡單起見 沒有考慮連續屬性??砂磿泄骄帉懗绦?。python 代碼實現
https://github.com/makang101/machinelearning/blob/master/chapter7bayesian/AODE.ipynb
總結
以上是生活随笔為你收集整理的《机器学习》 周志华学习笔记第七章 贝叶斯分类器(课后习题)python 实现的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 《机器学习》 周志华学习笔记第四章 决策
- 下一篇: 《机器学习》 周志华学习笔记第五章 神经