• • • 一、多元線性回歸
    • 二、正則化防止過擬合
    • 三、非線性回歸：多項式回歸
      • • 3.1 回歸模型評估指標
    • 四、決策樹（分類回歸樹）分類標準
    • 五、相關和回歸
      • • 5.1 相關和回歸的關系
        • 5.2 線性相關性度量：皮爾遜相關系數
    • 六、一元線性回歸
      • • 6.1 一元線性回歸模型
    • 七、課程總結

一、多元線性回歸

多元線性回歸示例：

y=b+a1?x1+a2?x2+???+an?xn y = b + a 1 ? x 1 + a 2 ? x 2 + · · · + a n ? x n

房價預測案例： 多重共線性（Multicollinearty）:是指線性回歸模型中的 解釋變量（X）之間由于存在高度相關關系而使模型估計失真或難以估計準確 多重共線性的影響:上述模型參數（$a_1,a_2...$）估值不準，有時候會導致出現相關性反轉。如何發現多重共線性對X變量探索兩兩之間的相關性（相關矩陣）逐步回歸概念是一種多元回歸模型進行變量篩選的方法，篩選最少的變量來獲取最大化預測能力 三種方法：向前選擇法向后剔除法逐步回歸法

二、正則化防止過擬合

L2正則化–嶺回歸 Ridge Regression

min∑i=1n(Yi?Yi^)=min∑i=1nε^2i m i n ∑ i = 1 n ( Y i ? Y i ^ ) = m i n ∑ i = 1 n ε ^ i 2
在最小化殘差平方和的基礎上，增加L2范數的懲罰項：
∑i=1n(yi?β0?∑j=1pβjxij)2+λ∑j=1pβ2j=RSS+λ∑j=1pβ2j ∑ i = 1 n ( y i ? β 0 ? ∑ j = 1 p β j x i j ) 2 + λ ∑ j = 1 p β j 2 = R S S + λ ∑ j = 1 p β j 2

L1正則化–lasso回歸

min∑i=1n(Yi?Yi^)=min∑i=1nε^2i m i n ∑ i = 1 n ( Y i ? Y i ^ ) = m i n ∑ i = 1 n ε ^ i 2
在最小化殘差平方和的基礎上，增加L1范數的懲罰項：
∑i=1n(yi?β0?∑j=1pβjxij)2+λ∑j=1p|βj|=RSS+λ∑j=1p|βj| ∑ i = 1 n ( y i ? β 0 ? ∑ j = 1 p β j x i j ) 2 + λ ∑ j = 1 p | β j | = R S S + λ ∑ j = 1 p | β j |

三、非線性回歸：多項式回歸

方法：

非線性回歸的轉換——取對數

多項式回歸代碼實現： sklearn.preprocession.PolynomialFeatures(degree = 2, #階數interaction_only = False,include_bias = True) sklearn.linear_model.LinearRegression(fit_intercept = True,noemalize = False,copy_X = True)

3.1 回歸模型評估指標

解釋方差（Explianed variance score）：

Explianed_variance(y,y^)=1?Var{y?y^}Var{y} E x p l i a n e d _ v a r i a n c e ( y , y ^ ) = 1 ? V a r { y ? y ^ } V a r { y }

絕對平均誤差（Mean absolute error）：

MAE(y,y^)=1nsamplies∑i=0nsamplies?1|yi?y^| M A E ( y , y ^ ) = 1 n s a m p l i e s ∑ i = 0 n s a m p l i e s ? 1 | y i ? y ^ |

均方誤差（Mean squared error）：

MSE(y,y^)=1nsamplies∑i=0nsamplies?1(yi?y^)2 M S E ( y , y ^ ) = 1 n s a m p l i e s ∑ i = 0 n s a m p l i e s ? 1 ( y i ? y ^ ) 2

決定系數（ R2 R 2 score）

R2(y,y^)=1?∑nsamplies?1i=0(yi?yi^)2∑nsamplies?1i=0(yi?yˉ)2 R 2 ( y , y ^ ) = 1 ? ∑ i = 0 n s a m p l i e s ? 1 ( y i ? y i ^ ) 2 ∑ i = 0 n s a m p l i e s ? 1 ( y i ? y ˉ ) 2

代碼： sklearn.metrics from sklearn.metrics import explained_variance_score explained_variance_score(y_true,y_pred)from sklearn.metrics import mean_absolute_error mean_absolute_error(y_true,y_pred)from sklearn.metrics import mean_squared_error mean_squared_error(y_true,y_pred)from sklearn.metrics import r2_score r2_score(y_true,y_pred)

四、決策樹（分類回歸樹）分類標準

>
Gain(A) = Variance(父) - Variance(子) #Gain(A)信息增益

五、相關和回歸

5.1 相關和回歸的關系

都是研究變量相互關系的分析方法相關分析是回歸分析基礎和前提，回歸分析是變量之間相關程度的具體形式相關分析：正相關,負相關相關形式: 線性, 非線性

>

5.2 線性相關性度量：皮爾遜相關系數

r=∑ni=1(xi?xˉ)(yi?yˉ)∑ni=1(xi?xˉ)2???????????√∑ni=1(yi?yˉ)2???????????√ r = ∑ i = 1 n ( x i ? x ˉ ) ( y i ? y ˉ ) ∑ i = 1 n ( x i ? x ˉ ) 2 ∑ i = 1 n ( y i ? y ˉ ) 2

相關VS回歸:

六、一元線性回歸

6.1 一元線性回歸模型

尋找最佳擬合直線：最小二乘法

該方法是尋找最佳擬合直線的參數（斜率和截距）
min∑i=1n(Yi?Yi^)2=min∑i=1nεi^2 m i n ∑ i = 1 n ( Y i ? Y i ^ ) 2 = m i n ∑ i = 1 n ε i ^ 2
參數估計 回歸表達式： Yi^=β0^+β1^xi Y i ^ = β 0 ^ + β 1 ^ x i

斜率:??????β1^=SSxySSxx=∑(xi?xˉ)yi?yˉ)∑(xi?xˉ)2 斜 率 : β 1 ^ = S S x y S S x x = ∑ ( x i ? x ˉ ) y i ? y ˉ ) ∑ ( x i ? x ˉ ) 2
截距:????????β0^=yˉ?β1^xˉ????????????????????????????????? 截 距 : β 0 ^ = y ˉ ? β 1 ^ x ˉ

七、課程總結

分類與回歸 區別與聯系 相似之處：都是有監督學習最重要的兩種預測模型決策樹既可以分類 也可以做回歸二元分類模型的經典算法邏輯回歸算法，本質上也是一種回歸算法區別：回歸目標變量是連續型變量分類目標變量是類別型變量常見的餓回歸算法和模型1 基于最小二乘法的一元/多元線性回歸2 多項式回歸（非線性）3 Ridge 回歸（L2正則化回歸），嶺回歸4 Lasso 回歸（L1正則化回歸），套索回歸5 決策樹（CART，分類回歸樹）6 邏輯回歸

總結

以上是生活随笔為你收集整理的回归模型-评估指标的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。