? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 最小二乘法(多元)推導

1 聲明

本文的數(shù)據(jù)來自網(wǎng)絡，部分代碼也有所參照，這里做了注釋和延伸，旨在技術(shù)交流，如有冒犯之處請聯(lián)系博主及時處理。

2 最小二乘法簡介

最小二乘法是一種優(yōu)化的方法，它主要是通過最小化誤差的平方和來做函數(shù)擬合的方法。

3 最小二乘法多元推導

有如下回歸模型

其中b0，b1，…bp，μ2? ?x1，x2，…xp 都是與無關(guān)的未知參數(shù)。這里設

是一個樣本。

這里令殘差平方和的表達式為

則求Q關(guān)于b0，b1，…bp的偏導，并令它們都等于0則，則得

化簡上式(即將求和展開，相同的則乘以n)則得到

上式叫做正規(guī)方程組，可以以矩陣的形式重新定義。

因為

所以正規(guī)方程組又可寫成

???

這里假設XtX的逆存在，則

?稱為p元經(jīng)驗線性回歸方程。

總結(jié)

以上是生活随笔為你收集整理的最小二乘法(多元)推导的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。