假設(shè)有如下數(shù)據(jù)

?

這些數(shù)據(jù)符合以下圖關(guān)系（以一維數(shù)據(jù)為例），這里的函數(shù)f(w)忽略了偏置b

?1 最小二乘估計(jì)

?????????我們的目標(biāo)是要求w，使得Xw和實(shí)際值y最近。所以我們對(duì)w求導(dǎo)，讓結(jié)果等于0。就可以解得參數(shù)w???

?????

?????????以上未考慮偏置b，如果考慮的話則可以為w添加一個(gè)維度，同時(shí)也為x添加一個(gè)維度并使得添加的維度的值為1，然后使用同樣的求解方法即可。.

? ? ? ? 使用最小二乘法可以看成損失函數(shù)是每個(gè)樣本的誤差的平方的總和

?1.1 最小二乘估計(jì)的幾何解釋

????????一組向量的生成子空間（span）是原始向量線性組合后所能抵達(dá)的點(diǎn)的集合。

????????確定方程Ax=b是否有解，相當(dāng)于確定列向量向量b是否在A列向量的生成子空間中。（x此時(shí)是線性組合的系數(shù)）

????????這個(gè)特殊的生成子空間被稱為A的列空間（column space）或者A的值域（range）。

?

?

?1.2 最小二乘法與極大似然估計(jì)

?

?

?可以看到最小二乘法與噪聲為高斯噪聲時(shí)的極大似然估計(jì)法是等價(jià)的。

1.3 一定是極小值嗎？?

見(jiàn)NTU課程 CE7454 線性回歸_UQI-LIUWJ的博客-CSDN博客?2.1

1.4?一定可逆嗎？

見(jiàn)?NTU課程 CE7454 線性回歸_UQI-LIUWJ的博客-CSDN博客?2.2

2 線性回歸基礎(chǔ)步驟

1，設(shè)計(jì)一個(gè)模型

以李宏毅機(jī)器學(xué)習(xí)中計(jì)算寶可夢(mèng)cp值為例，我們先假設(shè)一組線性模型

?2，將預(yù)測(cè)結(jié)果與實(shí)際值進(jìn)行比較

也就是設(shè)計(jì)一個(gè)損失函數(shù)loss function

?3 找到最好的模型

??????????我們?cè)u(píng)判模型的時(shí)候，不能光看在訓(xùn)練集上的loss，我們要看的是在測(cè)試集上的loss，也就是它的泛化能力

4 加權(quán)線性回歸

損失函數(shù)變成：

（這里α是權(quán)重的對(duì)角矩陣）

?同樣地進(jìn)行展開(kāi)推導(dǎo)

?然后對(duì)w求偏導(dǎo)：

于是有：

?

?

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：线性回归的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。