提綱：

線性模型的基本形式

多元線性回歸的損失函數(shù)

最小二乘法求多元線性回歸的參數(shù)

最小二乘法和隨機(jī)梯度下降的區(qū)別

疑問(wèn)

學(xué)習(xí)和參考資料

?

1.線性模型的基本形式

線性模型是一種形式簡(jiǎn)單，易于建模，且可解釋性很強(qiáng)的模型，它通過(guò)一個(gè)屬性的線性組合來(lái)進(jìn)行預(yù)測(cè)，其基本的形式為：

?

式（1）

?

轉(zhuǎn)換成向量形式之后寫(xiě)成：

式（2）

?

為什么說(shuō)其解釋性很強(qiáng)呢，是因?yàn)槟Ｐ偷臋?quán)值向量十分直觀地表達(dá)了樣本中每一個(gè)屬性在預(yù)測(cè)中的重要度，打個(gè)比方，要預(yù)測(cè)今天是否會(huì)下雨，并且已經(jīng)基于歷史數(shù)據(jù)學(xué)習(xí)到了模型中的權(quán)重向量和截距b，則可以綜合考慮各個(gè)屬性來(lái)判斷今天是否會(huì)下雨：

式（3）

?

2.多元線性回歸的損失函數(shù)

在多元線性回歸任務(wù)中，均方誤差是比較常用的一個(gè)損失函數(shù)，學(xué)習(xí)的任務(wù)就是要基于均方誤差最小化來(lái)對(duì)模型的參數(shù)進(jìn)行求解，損失函數(shù)的形式為：

?

式（4）

其中，m為樣本的數(shù)量，yi為樣本的真實(shí)值，f(x)為預(yù)測(cè)值。

將式（4）中的截距b合并到w，使得新的權(quán)重向量增加多了一維，即：w=(w;b)(以下所有的w均是這種形式)，相應(yīng)的每個(gè)樣本xi也增加了一維，變?yōu)閤i=(x11,x12,x13···x1d,1)

于是損失函數(shù)可以寫(xiě)成以下形式：

式（5）

其中y是樣本的標(biāo)記向量，y=(y1,y2,y3···ym)，X為樣本矩陣。

?

3.最小二乘法求多元線性回歸的參數(shù)

在學(xué)習(xí)模型的任務(wù)中，我們要做到的是讓預(yù)測(cè)值盡量逼近真實(shí)值，做到誤差最小，而均方誤差就是表達(dá)這種誤差的一種，所以我們要求解多元線性回歸模型，就是要求解使均方誤差最小化時(shí)所對(duì)應(yīng)的參數(shù)：

式（6）

其中w*為模型對(duì)應(yīng)的解，即使得均方誤差函數(shù)最小化時(shí)的權(quán)重向量。

那么，我們應(yīng)該如何求w*呢？在這里，我們可以用最小二乘法對(duì)模型的參數(shù)進(jìn)行估計(jì)，具體做法是：損失函數(shù)對(duì)需要求解的參數(shù)進(jìn)行求導(dǎo)，并且令其導(dǎo)數(shù)為0，求得相應(yīng)的參數(shù)。

在這里，我們需要讓式（5）對(duì)w求導(dǎo)，在求導(dǎo)之前，我們來(lái)看一下兩個(gè)求導(dǎo)公式：

式（7）

式（8）

?下圖為詳細(xì)的求導(dǎo)過(guò)程（字跡潦草~~請(qǐng)勿介意）

?損失函數(shù)對(duì)參數(shù)進(jìn)行求導(dǎo)之后，可以求得：

式（9）

?

令式（9）為零可得:

式（10）

以上即為參數(shù)w最優(yōu)解的閉式解，但我們可以發(fā)現(xiàn)w*的計(jì)算涉及矩陣的求逆，這樣的話就有一些限制了，只有在X^T*X為滿秩矩陣或者正定矩陣時(shí)，才可以使用以上式子計(jì)算。但在現(xiàn)實(shí)任務(wù)中，X^T*X往往不是滿秩矩陣，這樣的話就會(huì)導(dǎo)致有多個(gè)解，并且這多個(gè)解都能使均方誤差最小化，但并不是所有的解都適合于做預(yù)測(cè)任務(wù)，因?yàn)槟承┙饪赡軙?huì)產(chǎn)生過(guò)擬合的問(wèn)題。

?

4.最小二乘法和隨機(jī)梯度下降的區(qū)別

在學(xué)習(xí)的過(guò)程中，自己有想過(guò)這兩者的區(qū)別，當(dāng)初大概只知道以下一些東西：

最小二乘法是最小化均方誤差，當(dāng)X^T*X為滿秩矩陣時(shí)，可以直接求參數(shù)的閉式解，而隨機(jī)梯度下降需要不斷地迭代對(duì)參數(shù)進(jìn)行更新，并且所求到的解不一定是全局最優(yōu)解。

但寫(xiě)博客的時(shí)候去逛了逛知乎，https://www.zhihu.com/question/20822481 ?其中用戶夏之晨的答案讓我茅塞頓開(kāi)······

?

5.疑問(wèn)

線性模型可以依靠權(quán)重來(lái)判斷特征的重要程度，但這個(gè)判斷究竟有多準(zhǔn)確？特征之間的共線性使得特征相互之間會(huì)共享一些信息，又怎么判斷某個(gè)特征的重要程度不是其他特征共享給它的呢？

?

6.學(xué)習(xí)和參考資料

周志華老師的《機(jī)器學(xué)習(xí)》

?

轉(zhuǎn)載于:https://www.cnblogs.com/pengyingzhi/p/5383801.html

總結(jié)

以上是生活随笔為你收集整理的线性模型(1) —— 多元线性回归的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。