?

LR與SVM的相同點和不同點

版權聲明：本文為博主原創文章，未經博主允許不得轉載。

目錄(?)[-]

LR與SVM的相同點

LR和SVM的不同

一般而言一個點距離超平面的遠近可以表示為分類預測的確信或準確程度

LR與SVM的相同點：

• *LR和SVM都是分類算法
• *如果不考慮核函數，LR和SVM都是線性分類算法，也就是說他們的分類決策面都是線性的。
• *LR和SVM都是監督學習算法
• *LR和SVM都是判別模型?
  –判別模型會由p(y|x)生成一個聯合概率分布p(x,y)（或預測模型），?
  –生成模型由聯合p(y,x)然后通過貝葉斯公式轉化為條件概率。?
  –常見的判別模式：KNN、SVM、LR，常見的生成模型有：樸素貝葉斯，隱馬爾可夫模型。?
  -*LR和SVM在學術界和工業界都是廣為人知并且應用廣泛。

LR和SVM的不同：

• *本質上是其loss function不同?
  –邏輯回歸的損失函數：?
  ?
  –SVM的損失函數：?
  ?
  調整后為：?
  ?
  當C很大時：w為參數的向量表示，b為第0個參數?
  ?
  等價為：?
  ?
  1，問題就變成了一個凸二次規劃問題，可以利用任何現成的QP（二次規劃）的優化包進行求解。?
  2，雖然是一個標準的QP問題，但它也有自己的特殊結構，通過拉格朗日對偶變換成對偶變量的優化問題之后，可以更加有效地求解，也比QP優化包更加高效！?
  

• *支持向量機只考慮局部的邊界線附近的點，而邏輯回歸考慮全局（遠離的點對邊界線的確定也起作用）。

• *線性SVM依賴數據表達的距離測度，所以需要對數據先做normalization,LR不受其影響
• *SVM的損失函數就自帶正則！！！（損失函數中的1/2||w||^2項），這就是為什么SVM就是結構風險最小化算法的原因！！！而LR必須另外在損失函數上添加正則項！！！

一般而言，一個點距離超平面的遠近可以表示為分類預測的確信或準確程度。

總結

以上是生活随笔為你收集整理的LR与SVM的相同点和不同点的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。