Logistic Regression邏輯回歸（分類）：

0:Negative Class

1:Positive Class

二元分類問題講起。盡管有回歸二字，事實上為分類算法，處理離散y值。

?

輸出以以條件概率表示。若P(y=1|x;theta)= 0.7，表示有70%的概率y=1.那么有30%的概率y=0

?

決策邊界(DecisionBoundary)：當z=0，即thetaT*X的值等于零時，此時如果函數為0.5。

?

以下是還有一個邊界的樣例：

僅僅要得到theta值。就能得到決策邊界

?

邏輯回歸的代價函數非常可能是一個非凸函數(non-convex)，有非常多局部最長處，所以假設用梯度下降法，不能保證會收斂到全局最小值。

?

單次的代價函數例如以下：

終于多樣本的代價函數以及我們要做的工作：

依據前面的方法，同一時候地進行梯度下降法求出theta向量。

?

優化方法：共軛梯度、BFGS等等，無需選學習率，自己主動的，比梯度下降快，可是復雜。建議直接調用庫。

?

多元分類：

1對多方法

h函數事實上就相應著條件概率，所以就是訓練三個分類器。選條件概率最高的。

?

過擬合問題overfitting——正則化Regulation

對訓練數據效果非常好，但無法對新數據進行非常好的預測。泛化能力弱，就是一般性不好

參數過多，高階項多等。

解決方法：

1、降低特征數量（找基本的，或者用算法找）

2、正則化（保留全部參數。但較少維度或數量級）

?

正則化項：增加參數過多的懲處。當中lamda是控制正則化參數

lamda過大，easy造成欠擬合underfitting。相當于全部theta都約等于0。僅僅剩第一項。

?

正則化線性回歸：正則化+梯度下降結合：

不懲處theta0，所以分開寫

正規化方法加上正則化項后的求法：

?

正則化邏輯回歸：

用梯度下降法的改動和線性回歸形式一樣，僅僅是h函數不一樣

?

?

總結

以上是生活随笔為你收集整理的吴恩达机器学习笔记_第三周的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。