?????? 最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。[1](百度百科)

來源：https://baike.baidu.com/item/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E4%BC%B0%E8%AE%A1%E6%B3%95/8019852?fr=aladdin

1、舉個小例子

有四個數據點（1,6）、（2,5）、（3,7）、（4,10）

超定線性方程組? y = β1*x + β2

β1*1 + β2 = 6

β1*2 + β2 = 5

β1*3 + β2 = 7

β1*4 + β2 = 10

誤差s = [6-（b1+b2）]^2+[5-(β1*2 + β2 )]^2+[7-(β1*3 + β2)]^2+[10-(β1*4 + β2 )]^2

(1)??????? -(12-2b1-2b2)-4(5-2b1-b2)-6(7-3b1-b2)-8(10-4b1-b2)=0

(2)???????

b1= 1.4,b2=3.5

y=1.4x+3.5是最佳的

這就是最小二乘法的解法，就是求得平方損失函數的極值點

——————————————————————

總誤差的平方為：

不同的?會導致不同的?，根據多元微積分的知識，當：

這個時候?取最小值。

——————————————————————

?

?

2、

?

?

?

?

總結

以上是生活随笔為你收集整理的最小二乘法（Ordinary Least Squares）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。