支持向量機(jī)是一種經(jīng)典的機(jī)器學(xué)習(xí)算法，在小樣本數(shù)據(jù)集的情況下有非常廣的應(yīng)用。本文將循序漸進(jìn)地講解支持向量機(jī)的分類思想。

目錄:

• 函數(shù)間隔和幾何間隔
• 支持向量機(jī)的分類思想
• 總結(jié)

1.函數(shù)間隔和幾何間隔

為了能夠更好的闡述支持向量機(jī)的分類思想，需要理解函數(shù)間隔和幾何間隔的定義。

1.點(diǎn)到超平面的距離

假設(shè)超平面方程:

點(diǎn)

到平面的距離:

由上式可得:

,沒有分類信息，而函數(shù)間隔和幾何間隔不僅包含了距離信息，還包含了分類信息。

2.函數(shù)間隔和幾何間隔

對于給定的訓(xùn)練數(shù)據(jù)集T，正樣本和負(fù)樣本分別為+1和-1，我們對式(1.1)稍微進(jìn)行了修改:

(1) 點(diǎn)到平面的距離不作規(guī)范化處理，得:

(2) 去掉絕對值符號，并乘以標(biāo)記結(jié)果y0,得:

d2表達(dá)式就是函數(shù)間隔的定義，有兩層含義：大小表示點(diǎn)P0到超平面的距離，正負(fù)表示點(diǎn)P0是否正確分類，若d<0,分類錯(cuò)誤；反之，則分類正確。

因此，定義點(diǎn)到超平面的函數(shù)間隔為:

接著定義訓(xùn)練數(shù)據(jù)集T的函數(shù)間隔是所有樣本點(diǎn)(xi,yi)的函數(shù)間隔的最小值，即:

其中，

但是，若成比例的增加超平面參數(shù)w和b，超平面沒有改變，但是函數(shù)間隔卻成比例的增加了，這是不符合理論的，因此，需要對函數(shù)間隔進(jìn)行規(guī)范化，得:

(1.7)式就是幾何間隔的定義，幾何間隔的值是確定的。

2.支持向量機(jī)的分類思想

1.感知機(jī)和logistic回歸的分類思想

感知機(jī)的損失函數(shù)為所有誤分類點(diǎn)到超平面的距離之和:

無誤分類點(diǎn)時(shí)，損失函數(shù)為0，滿足模型分類條件的超平面有無數(shù)個(gè)，如下圖:

初始超平面為l1，誤分類點(diǎn)為紅色框，最小化式(2.1)有無窮多個(gè)滿足損失函數(shù)為0的超平面，如上圖的l2~ln,然而，最佳分類超平面只有一個(gè)，即支持向量機(jī)所對應(yīng)的超平面。

假設(shè)logistic回歸的模型是

,logisitc回歸的損失函數(shù):

簡單地分析(2.2)式的分類思想:

(1) 當(dāng)yi=1時(shí)，損失函數(shù)簡化為:

若要損失函數(shù)

越小越好,則xi的值越大越好，如下圖:

當(dāng)

往箭頭方向移動(dòng)時(shí)，損失函數(shù) 逐漸變小。

(2) 當(dāng)yi=0時(shí)，損失函數(shù)

簡化為:

若要損失函數(shù)

越小越好，則xi的值越小越好，如下圖:

當(dāng)

往箭頭方向移動(dòng)時(shí)，損失函數(shù) 逐漸變小。

2.支持向量機(jī)的分類思想

支持向量機(jī)結(jié)合了感知機(jī)和logistic回歸分類思想，假設(shè)訓(xùn)練樣本點(diǎn)(xi,yi)到超平面H的幾何間隔為

,由上節(jié)定義可知，幾何間隔是點(diǎn)到超平面最短的距離，如下圖的紅色直線:

用logistic回歸模型分析幾何間隔:

因此，當(dāng)

越大時(shí)，損失函數(shù)越小，結(jié)果為正樣本的概率也越大。
因此，感知機(jī)的分類思想是最大化點(diǎn)到超平面的幾何間隔，這個(gè)問題可以表示為下面的約束最優(yōu)化問題:

根據(jù)幾何間隔和函數(shù)間隔的關(guān)系，得幾何間隔的約束最優(yōu)化問題:

函數(shù)間隔是樣本點(diǎn)到超平面的最短距離，因此，令函數(shù)間隔為常數(shù)1，那么其他樣本點(diǎn)到超平面的距離都大于1，且最大化

和最小化 是等價(jià)的。于是就得到了下面的最優(yōu)化問題:

由(2.8)(2.9)式，解得最優(yōu)解

，易知最優(yōu)超平面到正負(fù)樣本的幾何間隔相等。

總結(jié)

本文結(jié)合了感知機(jī)和logistic回歸的分類思想來推導(dǎo)支持向量機(jī)的最優(yōu)化問題，即最大間隔分離超平面。

參考：

李航 《統(tǒng)計(jì)學(xué)習(xí)方法》

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的支持向量机的基本思想_支持向量机的分类思想的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。