商務智能系列文章目錄

【商務智能】數據預處理

---

文章目錄

• 商務智能系列文章目錄
• 前言
• 一、數據預處理主要任務
• 二、數據規范方法
• • 1、z-score 規范化
  • 2、最小-最大規范化
• 三、數據離散方法
• • 1、分箱離散化
  • 2、基于熵的離散化
• 總結

---

前言

在進行數據分析之前 , 先要對數據進行預處理操作 , 本篇博客簡要介紹常用的數據預處理方法 ;

一、數據預處理主要任務

數據預處理主要任務 :

① 數據離散化 : 分箱離散化 , 基于熵的離散化 , ChiMerge 離散化 ;

② 數據規范化 : 又稱數據標準化 , 統一 樣本數據的 取值范圍 , 避免在數據分析過程中 , 因為屬性取值范圍不同 , 在數據分析過程中導致分析結果出現誤差 ; 如 : 時間屬性的數值 , 有用秒作為單位的 , 有用小時作為單位的 , 必須統一成同一個時間單位 ;

③ 數據清洗 : 識別 和 處理 數據缺失 , 噪音數據 , 數據不一致 等情況 ; 如 : 某樣本某屬性數據缺失 , 將 同類樣本的該屬性的平均值 賦值給該缺失屬性的樣本 ;

④ 特征提取與特征選擇 : 面向分類的特征選擇方法 , 有效的特征選擇 , 既可以 降低數據量 , 又能 提高分類模型的構建效率 , 還能 提高分類準確率 ;

二、數據規范方法

1、z-score 規范化

z-score : 也稱為 標準分 ; z-score 值為 $z=\frac{x?\mu }{\sigma }$ ;

其中 $x$ 是本次要規范的屬性值 , $\mu$ 是均值 , $\sigma$ 是標準差 , 該公式的含義是 計算當前屬性值 $x$ 偏離均值 $\mu$ 的距離是多少個標準差 $\sigma$ ;

z-score 規范化 又稱為 零均值規范化 ( Zero-Mean Normalization ) , 給定屬性 $A$ , 均值為 $\mu$ , 標準差為 $\sigma$ , 屬性 $A$ 的取值 $x$ 規范后的值 $z=\frac{x?\mu }{\sigma }$ ;

年收入平均值 $82$ 萬 , 標準差 $39$ , 年收入 $60$ 萬使用 z-score 規范化后的值為 :

$$z=\frac{60?82}{39}=0.564$$

2、最小-最大規范化

樣本屬性原來取值范圍 $[l,r]$ , 現在需要將樣本屬性映射到 $[L,R]$ 區間內 , 根據等比例映射原理 , 屬性值 $x$ 映射到新區間后的值計算方法如下 :

$$v=\frac{x?l}{r?l}(R?L)+L$$

某樣本屬性為年收入 , 取值范圍 $[10,100]$ , 將其映射到 $[0,1]$ 區間內 , 則 $20$ 映射到新區間后的值為 :

$$v=\frac{20?10}{100?10}(1?0)+0=0.1111$$

三、數據離散方法

1、分箱離散化

分箱離散化 分為 等距離分箱 , 等頻率分箱 ;

等距離分箱 : 又稱為 等寬度分箱 , 將屬性的每個取值映射到等大小區間的方法 ;

如 : 學生考試分數 , $0$ ~ $100$ 分 , 以 $10$ 分為一檔 , 分為 $10$ 檔 ,

$15$ 分處于 $11$ ~ $20$ 檔 ,
$52$ 分處于 $51$ ~ $60$ 檔 ;

等距離分箱 , 可能導致某些取值多 , 某些取值少 , 如 $71$ ~ $80$ 這一檔很多 , $01$ ~ $10$ 這一檔幾乎沒有 ;

等頻率分箱 : 又稱為 等深度分箱 , 將每個取值映射到一個區間 , 每個區間包含的取值個數相同 ;

2、基于熵的離散化

分箱離散化 是 無監督 離散化方法 , 基于熵的離散化 是 有監督 離散化方法 ;

給定數據集 $D$ 及其分類屬性 , 類別集合為 $C=\{c_1,c_2,?,c_k\}$ , 數據集 $D$ 的信息熵 $\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{o}\mathrm{p}\mathrm{y}(\mathrm{D})$ 計算公式如下 :

$$\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{o}\mathrm{p}\mathrm{y}(\mathrm{D})=?\sum _{\mathrm{i}=1}^{\mathrm{k}}\mathrm{p}({\mathrm{c}}_{\mathrm{i}})\mathrm{l}\mathrm{o}{\mathrm{g}}_2\mathrm{p}({\mathrm{c}}_{\mathrm{i}})$$

$p(c_i)$ 的值是 $\frac{\mathrm{c}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{t}({\mathrm{c}}_{\mathrm{i}})}{|\mathrm{D}|}$ , $\mathrm{c}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{t}({\mathrm{c}}_{\mathrm{i}})$ 是指 $c_i$ 在數據集 $D$ 中出現的次數 , $|D|$ 表示數據樣本個數 ;

信息熵 $\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{o}\mathrm{p}\mathrm{y}(\mathrm{D})$ 取值越小 , 類別分步越純 ;

屬性 信息熵 計算參考 【數據挖掘】決策樹中根據 信息增益 確定劃分屬性 ( 信息與熵 | 總熵計算公式 | 每個屬性的熵計算公式 | 信息增益計算公式 | 劃分屬性確定 ) 博客 ;

---

總結

本博客主要講解數據預處理需要進行的操作 , 數據規范化 , 數據離散化 , 數據清洗 , 特征提取與特征選擇 ;

數據規范化涉及 最小-最大規范化 和 z-score 規范化 ;

數據離散化涉及 分箱離散化 和 基于熵的離散化 , 分箱離散化分為 等距離分箱 和 等頻率分箱 ;

總結

以上是生活随笔為你收集整理的【商务智能】数据预处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。