文章目錄

• 一、 貝葉斯分類器分類的流程
• 二、 貝葉斯分類器分類示例 1

參考博客 :

• 【數據挖掘】貝葉斯分類 ( 貝葉斯分類器 | 貝葉斯推斷 | 逆向概率 | 貝葉斯公式 | 貝葉斯公式推導 | 使用貝葉斯公式求逆向概率 )
• 【數據挖掘】貝葉斯公式應用 拼寫糾正示例分析 ( 先驗概率 | 似然概率 | 后驗概率 )
• 【數據挖掘】貝葉斯公式在垃圾郵件過濾中的應用 ( 先驗概率 | 似然概率 | 后驗概率 )
• 【數據挖掘】樸素貝葉斯分類器 ( 多屬性概率計算 | 樸素貝葉斯分類案例分析 )
• 【數據挖掘】拉普拉斯修正 ( 判別模型 | 概率模型 | 貝葉斯分類 | 拉普拉斯修正 | 樸素貝葉斯分類應用場景 | 樸素貝葉斯優缺點 )
• 【數據挖掘】貝葉斯信念網絡 ( 馬爾科夫假設 | 結構 | 有向無環圖 | 參數 | 條件概率表 | 案例分析 )

一、 貝葉斯分類器分類的流程

---

已知條件 :

已知樣本 : 已知若干個樣本

未知樣本 : 給定 $1$ 個未知樣本 , 其有 $4$ 個屬性組成向量 $\mathrm{X}$ , 樣本的分類有兩種 , $\mathrm{Y}$ 和 $\mathrm{N}$ ; ( Yes / No )

分類步驟 :

計算兩個概率 , 即

① 樣本取值為 $\mathrm{X}$ 向量時 , 分類為 $\mathrm{Y}$ 的概率 , 公式為 $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$ , 其中 $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ 含義是 : 樣本分類 $\mathrm{Y}$ 的概率 $\mathrm{P}(\mathrm{Y})$ , 乘以 樣本分類為 $\mathrm{Y}$ 前提下樣本取值 $\mathrm{X}$ 時的概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ , 是 $\mathrm{P}(\mathrm{X}\mathrm{Y})$ 共同發生的概率 ;

② 樣本取值為 $\mathrm{X}$ 向量時 , 分類為 $\mathrm{N}$ 的概率 , 公式為 $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$ , 其中 $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ 含義是 : 樣本分類為 $\mathrm{N}$ 的概率 $\mathrm{P}(\mathrm{N})$ , 乘以 樣本取值 $\mathrm{N}$ 時的概率 $\mathrm{P}(\mathrm{X}|\mathrm{N})$ , 是 $\mathrm{P}(\mathrm{X}\mathrm{N})$ 共同發生的概率 ;

上述兩個概率 , 哪個概率高 , 就將該樣本分為哪個分類 ;

先驗概率 : $\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{N})$ ;

后驗概率 : $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ ;

公式中每個元素的含義參考 【數據挖掘】貝葉斯分類 ( 貝葉斯分類器 | 貝葉斯推斷 | 逆向概率 | 貝葉斯公式 | 貝葉斯公式推導 | 使用貝葉斯公式求逆向概率 )

上述兩個公式 $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$ 和 $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$ , 分母都是 $\mathrm{P}(\mathrm{X})$ , 只比較分子即可 , 其中先驗概率 $\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{N})$ 很容易求得 , 重點是求兩個后驗概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ ;

后驗概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 求法 : 針對 $\mathrm{X}$ 向量中 $4$ 個分量屬性的取值 , 當樣品類型是 $\mathrm{Y}$ 時 , 分量 $1$ 取值為該分量屬性時的概率 , 同理計算出 $4$ 個分量屬性對應的 $4$ 個概率 , 最后將 四個概率相乘 ;

后驗概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 再乘以先驗概率 $\mathrm{P}(\mathrm{Y})$ , 就是最終的 未知樣本分類為 $\mathrm{Y}$ 類型的概率 ;

最終對比樣本 , ① 未知樣本分類為 $\mathrm{Y}$ 類型的概率 , ② 未知樣本分類為 $\mathrm{N}$ 類型的概率 , 哪個概率大 , 就分類為哪個類型 ;

二、 貝葉斯分類器分類示例 1

---

分類需求 : 根據 年齡 , 收入水平 , 是否是學生 , 信用等級 , 預測 " 年齡小于 30 歲 , 收入中等 , 學生 , 信用等級一般 " 的用戶是否會購買商品 ;

年齡收入水平是否是學生信用等級是否購買商品

小于 30 歲	高收入	不是	一般	不會 $\mathrm{N}$
小于 30 歲	高收入	不是	很好	不會 $\mathrm{N}$
31 ~ 39 歲	高收入	不是	一般	會 $\mathrm{Y}$
40 歲以上	中等收入	不是	一般	會 $\mathrm{Y}$
40 歲以上	低收入	是	一般	會 $\mathrm{Y}$
40 歲以上	低收入	是	很好	不會 $\mathrm{N}$
31 ~ 40 歲	低收入	不是	很好	會 $\mathrm{Y}$
小于 30 歲	中等收入	不是	一般	不會 $\mathrm{N}$
小于 30 歲	低收入	是	一般	會 $\mathrm{Y}$
40 歲以上	中等收入	是	一般	會 $\mathrm{Y}$
小于 30 歲	中等收入	是	很好	會 $\mathrm{Y}$
31 ~ 39 歲	中等收入	不是	很好	會 $\mathrm{Y}$
31 ~ 39 歲	高收入	是	一般	會 $\mathrm{Y}$
40 歲以上	中等收入	不是	很好	不會 $\mathrm{N}$

未知樣本 取值 $\mathrm{X}$ 向量 為 " 年齡小于 30 歲 , 收入中等 , 學生 , 信用等級一般 " ;

未知樣本 分類為 $\mathrm{Y}$ 類型的概率 : $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$

未知樣本 分類為 $\mathrm{N}$ 類型的概率 : $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$

上述兩個概率的分母 $\mathrm{P}(\mathrm{X})$ 是常數 , 對比時可以忽略 , 只需要對比分子即可 ;

先驗概率 $\mathrm{P}(\mathrm{Y})=\frac{9}{14}$ , $\mathrm{P}(\mathrm{N})=\frac{5}{14}$ , $9$ 個人購買商品 , $5$ 個人沒有購買商品 ;

后驗概率

① $\begin{array}{lcl}\mathrm{P}(\mathrm{X}|\mathrm{Y})& =& \mathrm{P}(年齡小于30|\mathrm{Y})\times \mathrm{P}(收入中等|\mathrm{Y})\times \mathrm{P}(是學生|\mathrm{Y})\times \mathrm{P}(信用等級一般|\mathrm{Y})\\ & & \\ & =& \frac{2}{9}\times \frac{4}{9}\times \frac{6}{9}\times \frac{6}{9}\end{array}$

② $\begin{array}{lcl}\mathrm{P}(\mathrm{X}|\mathrm{N})& =& \mathrm{P}(年齡小于30|\mathrm{N})\times \mathrm{P}(收入中等|\mathrm{N})\times \mathrm{P}(是學生|\mathrm{N})\times \mathrm{P}(信用等級一般|\mathrm{N})\\ & & \\ & =& \frac{3}{5}\times \frac{2}{5}\times \frac{1}{5}\times \frac{2}{5}\\ & & \end{array}$

未知樣本 分類為 $\mathrm{Y}$ 類型的概率 分子 : $P(X|Y)P(Y)=\frac{2}{9}\times \frac{4}{9}\times \frac{6}{9}\times \frac{6}{9}\times \frac{9}{14}\approx 0.0282186948853616$

未知樣本 分類為 $\mathrm{N}$ 類型的概率 分子 : $P(X|N)P(N)=\frac{3}{5}\times \frac{2}{5}\times \frac{1}{5}\times \frac{2}{5}\times \frac{5}{14}\approx 0.0068571428571429$

該樣本分類 為 $\mathrm{Y}$ , 會購買商品 ;

總結

以上是生活随笔為你收集整理的【数据挖掘】数据挖掘总结 ( 贝叶斯分类器示例 ) ★的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。