SVM的升维解决线性不可分
很多的情況下樣本是線性不可分的,這時可以通過升維的方法來解決。
假設在數軸上給出一些數據,其中[-2,2]區間內的點被標記為分類1,其余的被標記為分類0,這時用一個分段函數是不能順利的分類的,這時可以構造一個函數,讓其在[-2,2]的區間內這個函數大于0,而其他的部分小于0,例如:
y=?x2+4的圖形如下:
這實際上是y=?x2+4這個函數在y=0(x軸)這條直線上的投影,也即是二維的投影可以順利分類一維上的不可分的樣本。
同樣有二維空間中的如果樣本向量v距離原點(0,0)的距離為1以內分類被標記為0,其余都是1,同樣是在二維的情況下是線性不可分得,此時可以構造一個這樣的函數:
即, z=x2+y2,此時通過三維到二維的映射可以分類二維上的不可分。
x2+y2?1的圖形如下:
可以看到,在一維空間上解決線性不可分問題是把函數映射到二維空間中,使得一維空間上的分類邊界是二維空間上的分類函數在一維空間上的投影;而二維空間上解決線性不可分問題是把函數映射到三維空間中,使得二維空間上的分類邊界是三維空間上的分類函數在一維空間上的投影,以此類推。
這個構造的過程SVM有通用的方法可以解決,就是使用核函數進行構造。幾個常用的核函數如線性核函數、多項式核函數、徑向基核函數、高斯核函數等。
核函數的目的很明確:就是在當前維度空間中的樣本線性不可分的就一律映射到高維中去,在高維空間中找到超平面,得到超平面方程。而在更高維的超平面上的方程實際上并沒有增加更多的維度變量。例如,在研究二維空間上的向量分類問題時,經過核函數映射,最后得到的超平面變成了二維空間中的曲線(但同時也是三維空間中的一次方程)。
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的SVM的升维解决线性不可分的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 遗传算法求解极大值问题
- 下一篇: 建设银行怎么贷款 贷款流程及条件一览