支持向量機（SVM）的主要思想：

給定訓練樣本，支持向量機建立一個超平面作為決策曲面，使得正例和反例之間的隔離邊緣被最大化。

線性可分模式的最優(yōu)超平面

訓練樣本{（xi,di）}^N?i=1?,其中xi是輸入模式的第i個樣例，di是對應的期望相應（目標輸出）。首先假設由子集di=+1代表的模式（類）和di=-1代表的模式是“線性可分的”。用于分離的產平面形式的決策曲面方程是：

W^T?X?+?b?=?0

其中X是輸入向量，W是可調的權值向量，b是偏置。因此可以寫成:

W^T?X?+?b??>=?0??當di=+1

W^T?X?+?b???<?0??當di=-1

在這里做了模式線性可分的假設，以便在相當簡單的環(huán)境里解釋支持向量機背后的基本思想；對于一個給定的權值向量W和偏置b，由式W^T?X?+?b?=?0定義的超平面和最近的數據點之間的間隔被稱為分離邊緣，用ρ表示。支持向量機的目標是找到一個特殊的超平面，這個超平面的分離邊緣ρ最大。在這種條件下，決策曲面稱為最優(yōu)超平面。

下面是二維空間中最優(yōu)超平面的集合結構。

?

然后是進行處理和轉化一下：

?

二維情況下點到最優(yōu)超平面的袋鼠距離的幾何解釋：

滿足

第一行或者第二行等號情況的特殊數據點（xi,di）稱為支持向量，“支持向量機”因此得名。其他的訓練樣本完全不重要。由于支持向量的特點，這些向量在這類機器學習運行中起著主導作用。支持向量是最靠近決策面的數據點，這樣的數據點是最難分類的。因此，他們和決策面的最優(yōu)位置直接相關。同時各種推導之后會得到這么一個公式：

?

說明最大化兩個類之間的分離邊緣等價于最小化權值向量w的歐幾里得范數。

最優(yōu)超平面是唯一的，意味著最優(yōu)權值向量w0提供正反例之間最大可能的分離。這個優(yōu)化條件是通過最小化權值向量w的歐幾里得范數獲得的。

然后是基本上分四步類求這個超平面：

尋找最優(yōu)超平面問題，以這樣一個陳述為開始：即在原始權重空間的帶約束的優(yōu)化問題。

對于上述問題建立拉格朗日函數。[拉格朗日函數可以用來求目標函數約束條件下的極值]

推到出極值最優(yōu)化條件。

問題的最后階段是在對偶空間解決帶拉格朗日乘子的優(yōu)化問題。

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—支持向量机（SVM）(上)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。