?

?

二、單變量線性回歸(Linear Regression with?One?Variable)

2.1 ?模型表示

?

2.2 ?代價函數(shù)

?

2.3 ?代價函數(shù)的直觀理解?

?

2.4 ?梯度下降

?

2.5 ?梯度下降的直觀理解

?

2.6 ?梯度下降的線性回歸

?

2.7 ?接下來的內(nèi)容

---

?

?

2.1 ?模型表示

之前的房屋交易問題為例，假使我們回歸問題的訓(xùn)練集（Training Set）如下表所示：?

?

我們將要用來描述這個回歸問題的標(biāo)記如下:

??? m ?????????????? 代表訓(xùn)練集中實例的數(shù)量

??? x ??????????????? 代表特征/輸入變量

??? y ??????????????? 代表目標(biāo)變量/輸出變量

??? (x,y) ? ? ? ? ? 代表訓(xùn)練集中的實例

?? (x(i),y(i)) ? ? 代表第 i 個觀察實例

???? h ? ? ? ? ? ? ? ?代表學(xué)習(xí)算法的解決方案或函數(shù)也稱為假設(shè)（hypothesis）

?

?

因而，要解決房價預(yù)測問題，我們實際上是要將訓(xùn)練集“喂”給我們的學(xué)習(xí)算法，進而學(xué)習(xí)得到一個假設(shè)?h，然后把我們要預(yù)測的房屋的尺寸作為輸入變量輸入給?h，預(yù)測出該房屋的交易價格作為輸出變量輸出為結(jié)果。對于這個房價預(yù)測問題，一種可能的表達方式為：

??，因為只含有一個特征/輸入變量，因此這樣的問題叫作單變量線性回歸問題。

?

---

?

?

2.2 ?代價函數(shù)

我們現(xiàn)在要做的便是為我們的模型選擇合適的參數(shù)（parameters）θ0 和 θ1，在房價問題這個例子中便是直線的斜率和在 y 軸上的截距。

我們選擇的參數(shù)決定了我們得到的直線相對于我們的訓(xùn)練集的準(zhǔn)確程度，模型所預(yù)測的值與訓(xùn)練集中實際值之間的差距（下圖中藍線所指部分）就是建模誤差（modeling error）。

? ??

?我們的目標(biāo)便是選擇出可以使得建模誤差的平方和能夠最小的模型參數(shù)。 即使得代價函數(shù)??最小。

?我們繪制一個等高線圖，三個坐標(biāo)分別為 θ0 和?θ1 和 J(θ0,θ1)：

??

?則可以看出在三維空間中存在一個使得 J(θ0,θ1)最小的點。

?

---

?

?

2.3 ?代價函數(shù)的直觀理解?

?

圖1是不考慮θ_0、θ₁時J(0)為常數(shù)，圖2是當(dāng)只考慮θ₁時代價函數(shù)J(θ₁)的情況，圖3是θ_0、θ₁都考慮時J(θ_0，θ₁)的情況。

?

代價函數(shù)的樣子:

?

圖1是固定的θ_0、θ_1，圖2是參數(shù)的θ_0、θ₁

?

---

?

2.4?梯度下降的直觀理解

梯度下降算法如下：

梯度下降的原理描述：首先對隨機賦初值，減后值改變再帶進去，使得按梯度下降最快的方向進行，一直迭代下去最終會得到局部最小值，即上式

表示最陡的那個方向，α 是學(xué)習(xí)率（learning rate）(步長)也就是說每次向下降最快的方向走多遠。α過大時，有可能越過最小值，當(dāng)α過小時，容易造成迭代次數(shù)較多收斂速度較慢。

?

---

?

?

?

2.5 ?梯度下降的線性回歸

梯度下降算法和線性回歸算法比較如圖：

對之前的線性回歸問題運用梯度下降法，關(guān)鍵在于求出代價函數(shù)的導(dǎo)數(shù)，即：

?j=0 ?時：

?j=1?時：?（計算得出）

?

則算法改寫成：

?

---

?

?

2.6 ?接下來的內(nèi)容

在接下來的一組視頻中，我會對將用到的線性代數(shù)進行一個快速的復(fù)習(xí)回顧。

???? 通過它們，你可以實現(xiàn)和使用更強大的線性回歸模型。事實上，線性代數(shù)不僅僅在線性回歸中應(yīng)用廣泛，它其中的矩陣和向量將有助于幫助我們實現(xiàn)之后更多的機器學(xué)習(xí)模型，并在計算上更有效率。正是因為這些矩陣和向量提供了一種有效的方式來組織大量的數(shù)據(jù)，特別是當(dāng)我們處理巨大的訓(xùn)練集時。?

? ? ? 事實上，為了實現(xiàn)機器學(xué)習(xí)算法，我們只需要一些非常非常基礎(chǔ)的線性代數(shù)知識。具體來說，為了幫助你判斷是否有需要學(xué)習(xí)接 下來的一組視頻，我會討論什么是矩陣和向量，談?wù)勅绾渭?、減 、乘矩陣和向量，討論逆 矩陣和轉(zhuǎn)置矩陣的概念。

? ? ??

?

轉(zhuǎn)載于:https://www.cnblogs.com/Real-Ying/p/6748755.html

總結(jié)

以上是生活随笔為你收集整理的Ng第二课：单变量线性回归(Linear Regression with One Variable)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。