前言：

假設(shè)空間

???? ? 在圖像識(shí)別領(lǐng)域，灰度圖像被稱(chēng)為傳說(shuō)中的2維張量，任意圖像為由所有二類(lèi)圖像構(gòu)成的這個(gè)二維張量空間內(nèi)的一個(gè)點(diǎn)。由人類(lèi)專(zhuān)家完成圖像屬性歸納，把二維張量空間圖像的特征顯式的歸結(jié)為一維張量空間的n維向量上，被稱(chēng)為特征提取。一般提取的特征并不一定能在n維向量空間中線(xiàn)性可分，這就需要再由模型進(jìn)行一次映射，把向量樣本轉(zhuǎn)換到新的空間實(shí)現(xiàn)線(xiàn)性可分。

?????? 在樣本線(xiàn)性可分時(shí)，可以證明出支持向量機(jī)最終等價(jià)于壓縮近鄰法，最終可以使用邊界樣本用于最終的分類(lèi)。

非線(xiàn)性可分的向量機(jī)模型使用近鄰法

? ? ? ? 我們假設(shè)訓(xùn)練樣是線(xiàn)性可分的，即存在一個(gè)劃分超平面能將訓(xùn)練樣本正確分類(lèi)，然而在現(xiàn)實(shí)任務(wù)中，原始樣本空間中也許并不存在一個(gè)能正確劃分兩類(lèi)樣本的超平面，例如在下圖中的非線(xiàn)性問(wèn)題或者異或問(wèn)題。

???????

?????? 繞開(kāi)樣本的真實(shí)屬性，根據(jù)VC維的原則，總能找到一個(gè)變換后的空間，可以使有限維數(shù)的有限樣本集合線(xiàn)性可分。一般原則是將原始樣本從原始空間映射到一個(gè)更高維度的空間，使得樣本在新的特征空間內(nèi)線(xiàn)性可分。

??? ? ? 令<f> (x） 表示將z映射后的特征向量，于是在特征空間中劃分超平面所對(duì)應(yīng)的模型可表示為：

???????

?????? 其對(duì)偶問(wèn)題為：

???????????????

?????? 求解式（6.21）涉及到計(jì)算Φ（x_i）,Φ（x_j），這是樣本Xi與Xj映射到特征空間之后的內(nèi)積。根據(jù)映射函數(shù)Φ（xi）的不同，特征的維數(shù)可能會(huì)很高，甚至可能是無(wú)窮維。因此直接計(jì)算通常是困難的，因此為了避開(kāi)這個(gè)障礙，可以設(shè)想這樣一個(gè)函數(shù)：

Ker( x_i, x_j?) ?= <Φ（x_i）,Φ（x_j）> = Φ（x_i）^TΦ（x_j） ?????公式13

?????? 把內(nèi)積運(yùn)算轉(zhuǎn)換為核函數(shù)運(yùn)算Ker( x_i, x_j?)，僅僅是形式上的轉(zhuǎn)換，即計(jì)算模型時(shí)通過(guò)對(duì)核函數(shù)進(jìn)行操縱而不是直接對(duì)高維特征進(jìn)行轉(zhuǎn)換。

?????? 因此尋找特征映射函數(shù)Φ（xi）轉(zhuǎn)變?yōu)?strong>尋找核函數(shù)Ker( )??。

神經(jīng)網(wǎng)絡(luò)、核函數(shù)與相似性度量

?????? 支持向量機(jī)的基本思想可以概括為，首先通過(guò)非線(xiàn)性變換將輸入空間變換到另外一個(gè)空間，然后在這個(gè)新空間內(nèi)求最優(yōu)分類(lèi)面及最大間隔分類(lèi)面，而這種非線(xiàn)性變換通過(guò)定義適當(dāng)?shù)膬?nèi)積核函數(shù)實(shí)現(xiàn)。

???????數(shù)量積/內(nèi)積（dot product; scalar product，也稱(chēng)為點(diǎn)積）是接受在實(shí)數(shù)R上的兩個(gè)向量并返回一個(gè)實(shí)數(shù)值標(biāo)量的二元運(yùn)算。它是歐幾里得空間的標(biāo)準(zhǔn)內(nèi)積。向量的內(nèi)積表示向量的相似性，即近鄰特性。

? ? ?? 支持向量機(jī)求得的分類(lèi)函數(shù)，形式上類(lèi)似于一個(gè)神經(jīng)網(wǎng)絡(luò)，其輸出是若干中間層節(jié)點(diǎn)的線(xiàn)性組合，而每一個(gè)中間層的中間節(jié)點(diǎn)對(duì)應(yīng)于輸入樣本與一個(gè)支持向量的內(nèi)積，形成一個(gè)支持向量網(wǎng)絡(luò)。

??????? 網(wǎng)絡(luò)中的訓(xùn)練結(jié)果為：K(xi,x)為相同的核函數(shù)，但對(duì)每一個(gè)向量有一個(gè)特定的系數(shù)。訓(xùn)練過(guò)程為支持向量系數(shù)的調(diào)整。

?????

三層網(wǎng)絡(luò)：

?? ? ?? 輸出(決策規(guī)則 )：?權(quán)值：w_i=a_iy_{i ?????}????? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ?? 頂層

?? ? ?? 基于s個(gè)支持向量的X1,X2....Xd的非線(xiàn)性變換（內(nèi)積核函數(shù)K( ) ）_{? ? ? ? ? ? ? ? ? ? ?} ? 中間層 ???_{???????????????????????????????????????}

? ?? ?? 輸入向量：x = [ x₁,x₂,......, x_d?] ???????????????????? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?????????????底層

?

決策過(guò)程：

???????? SVM的決策過(guò)程也可以看做相似性比較的過(guò)程。第一：將輸入樣本一系列模板進(jìn)行相似性比較，模板樣本就是訓(xùn)練過(guò)程中決定的支持向量，采用的相似性度量是核函數(shù)；第二：樣本經(jīng)過(guò)核函數(shù)之后，與各支持向量樣本進(jìn)行比較后的得分進(jìn)行加權(quán)求和，權(quán)值就是訓(xùn)練時(shí)得到的個(gè)支持向量的系數(shù)a與類(lèi)

別標(biāo)號(hào)y的乘積；最后：根據(jù)加權(quán)求和值的大小進(jìn)行決策。

?????? 采用不同的核函數(shù)，可以看做使用不同的相似性度量，線(xiàn)性SVM是直接使用歐式空間中的內(nèi)積作為相似性度量。

核函數(shù)的選擇條件

?????? 使用核函數(shù)替換非線(xiàn)性特征變換的可行性，可由泛函空間的有關(guān)理論得到。條件是需要找到能夠構(gòu)成某一變換空間內(nèi)積變換里面的核函數(shù)，這個(gè)核函數(shù)必須符合Mercer定理：

??????

???????

常見(jiàn)的核函數(shù)形式

??????

?????? 采用非零的u和c，采用Sigmod核的支持向量機(jī)直接等價(jià)于包含一個(gè)Sigmod函數(shù)隱層的神經(jīng)網(wǎng)絡(luò)。

總結(jié)

以上是生活随笔為你收集整理的支持向量机的近邻理解：图像二分类为例（3）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。