? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ?在SVM中經(jīng)常聽(tīng)說(shuō)核函數(shù)，關(guān)于各種核函數(shù)的推導(dǎo)公式寫得天花亂墜。SVM大概意思是說(shuō)將低維不可分的樣本映射到高維空間中后就線性可分了，由于最后用訓(xùn)練出來(lái)的模型進(jìn)行分類預(yù)測(cè) ?時(shí)需要求高維空間中映射特征間的內(nèi)積，而核函數(shù)的功能就是我們計(jì)算時(shí)不需要考慮高維空間的具體形式，降低了其計(jì)算復(fù)雜度。

? ? ? 下面就簡(jiǎn)單講講核函數(shù)的作用，當(dāng)然這里是以2分類器為例。

? ? ? 首先我們需要了解我們的目的是用訓(xùn)練樣本學(xué)習(xí)到一個(gè)線性的表達(dá)式,即下面的公式:

????????

　　　　（1）

? ? ? 通過(guò)訓(xùn)練數(shù)據(jù)可以學(xué)校到其中的權(quán)值向量w和閾值向量b，對(duì)于新來(lái)的特征向量x代入到上式中，求出y，如果y>0則為正例，y<0則為負(fù)例。

? ? ? 上面過(guò)程看起來(lái)很簡(jiǎn)單,比較自然,且有核函數(shù)的相關(guān)理論可以知道,求出的w表達(dá)式為:

　　　　（2）代入到上面那個(gè)公式就可以得到

　　　　? ? ? ? ?（3）

? ? ? 到目前為止,我們新來(lái)一個(gè)樣本,只需讓它與所有的訓(xùn)練樣本做內(nèi)積,然后線性相加等操作即可,比較幸運(yùn)的是,只有當(dāng)為支持向量時(shí)才不為0,其它位置的都為0,所以只需要進(jìn)行少數(shù)的線性組合計(jì)算即可。

? ? ? 現(xiàn)在還沒(méi)有必要使用核函數(shù)，那是因?yàn)橛蒙厦娴姆椒ㄟM(jìn)行預(yù)測(cè)時(shí)，樣本本身具有線性可分的特點(diǎn)。如果我們?cè)跇颖究臻g下不能夠線性可分呢？那么這樣求出的w和b用來(lái)預(yù)測(cè)就是錯(cuò)誤的了。

? ? ?如果低維線性不可分，但在高維中線性可分，這樣就需要將低維的x映射到高維的了，因此在公式（3）中的內(nèi)積映射為。

　　我們把映射后的內(nèi)積用一個(gè)函數(shù)表示K(x,z)表示，這個(gè)函數(shù)就是我們這里講的核函數(shù)了。即

　　(4)

　　因?yàn)楣?4)左邊的計(jì)算復(fù)雜度為核函數(shù)的計(jì)算復(fù)雜度，核函數(shù)是由為映射過(guò)的特征x和z構(gòu)成的，所以復(fù)雜度比較低，不像公式(4)的右邊，由高維的特征向量構(gòu)成，復(fù)雜度高。

因此我們的問(wèn)題轉(zhuǎn)化成了，當(dāng)來(lái)了一個(gè)新的向量x，對(duì)其分類時(shí)使用下面的公式：

　　（5）

　　公式（5）后面的內(nèi)積我們就用核函數(shù)代替了，那么我們?yōu)槭裁催@么有必要用核函數(shù)去代替呢？除了開(kāi)始說(shuō)的的為了減輕運(yùn)算復(fù)雜度(也就是運(yùn)算量)外，另外一個(gè)原因就是我們的映射函數(shù)很難確定，不好尋找。

　　到此為止，我們已經(jīng)知道了核函數(shù)的部分作用了。

　　當(dāng)然了，至于什么樣的核函數(shù)K能夠代替，這就是核函數(shù)的有效性另一套理論了，不是本次所講述的重點(diǎn)。

?

?

　　參考文獻(xiàn)：網(wǎng)友JerryLead的博客：http://www.cnblogs.com/jerrylead/ ?

?

?

?

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/tornadomeet/archive/2012/07/18/2597675.html

總結(jié)

以上是生活随笔為你收集整理的一些知识点的初步理解_6(核函数,ing...)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。