核函数
核函數(shù)
Linear Kernel
線性核是最簡單的核函數(shù),核函數(shù)的數(shù)學(xué)公式如下:
Polynomial Kernel
多項(xiàng)式核實(shí)一種非標(biāo)準(zhǔn)核函數(shù),它非常適合于正交歸一化后的數(shù)據(jù),其具體形式如下:
這個(gè)核函數(shù)是比較好用的,就是參數(shù)比較多,但是還算穩(wěn)定。
Gaussian Kernel
這里說一種經(jīng)典的魯棒徑向基核,即高斯核函數(shù),魯棒徑向基核對(duì)于數(shù)據(jù)中的噪音有著較好的抗干擾能力,其參數(shù)決定了函數(shù)作用范圍,超過了這個(gè)范圍,數(shù)據(jù)的作用就“基本消失”。高斯核函數(shù)是這一族核函數(shù)的優(yōu)秀代表,也是必須嘗試的核函數(shù),其數(shù)學(xué)形式如下:
雖然被廣泛使用,但是這個(gè)核函數(shù)的性能對(duì)參數(shù)十分敏感,以至于有一大把的文獻(xiàn)專門對(duì)這種核函數(shù)展開研究,同樣,高斯核函數(shù)也有了很多的變種,如指數(shù)核,拉普拉斯核等。
Exponential Kernel
指數(shù)核函數(shù)就是高斯核函數(shù)的變種,它僅僅是將向量之間的L2距離調(diào)整為L1距離,這樣改動(dòng)會(huì)對(duì)參數(shù)的依賴性降低,但是適用范圍相對(duì)狹窄。其數(shù)學(xué)形式如下:
Laplacian Kernel
拉普拉斯核完全等價(jià)于指數(shù)核,唯一的區(qū)別在于前者對(duì)參數(shù)的敏感性降低,也是一種徑向基核函數(shù)。
Sigmoid Kernel
Sigmoid 核來源于神經(jīng)網(wǎng)絡(luò),現(xiàn)在已經(jīng)大量應(yīng)用于深度學(xué)習(xí),是當(dāng)今機(jī)器學(xué)習(xí)的寵兒,它是S型的,所以被用作于“激活函數(shù)”。關(guān)于這個(gè)函數(shù)的性質(zhì)可以說好幾篇文獻(xiàn),大家可以隨便找一篇深度學(xué)習(xí)的文章看看。
ANOVA Kernel
ANOVA 核也屬于徑向基核函數(shù)一族,其適用于多維回歸問題,數(shù)學(xué)形式如下:
Rational Quadratic Kernel
二次有理核完完全全是作為高斯核的替代品出現(xiàn),如果你覺得高斯核函數(shù)很耗時(shí),那么不妨嘗試一下這個(gè)核函數(shù),這個(gè)核函數(shù)作用域雖廣,但是對(duì)參數(shù)十分敏感。
Multiquadric Kernel
多元二次核可以替代二次有理核,它是一種非正定核函數(shù)。
Inverse Multiquadric Kernel
逆多元二次核來源于多元二次核,基于這個(gè)核函數(shù)的算法,不會(huì)遇到核相關(guān)矩陣奇異的情況。
Circular Kernel
Spherical Kernel
Wave Kernel
適用于語音處理場景。
Triangular Kernel
三角核函數(shù),數(shù)學(xué)公式如下:
Log Kernel
對(duì)數(shù)核一般在圖像分割上經(jīng)常被使用,數(shù)學(xué)形式如下:
Spline Kernel
Bessel Kernel
Cauchy Kernel
柯西核來源于神奇的柯西分布,與柯西分布相似,函數(shù)曲線上有一個(gè)長長的尾巴,說明這個(gè)核函數(shù)的定義域很廣泛,言外之意,其可應(yīng)用于原始維度很高的數(shù)據(jù)上。
Chi-Square Kernel
卡方核,其來源于卡方分布,數(shù)學(xué)形式如下:
這個(gè)核函數(shù)基于的特征不能夠帶有賦值,否則性能會(huì)急劇下降,如果特征有負(fù)數(shù),那么就用下面這個(gè)形式:
Histogram Intersection Kernel
直方圖交叉核在圖像分類里面經(jīng)常用到,比如說人臉識(shí)別,適用于圖像的直方圖特征,例如extended LBP特征其數(shù)學(xué)形式如下,形式非常的簡單
Generalized Histogram Intersection
廣義直方圖交叉核就是上述核函數(shù)的拓展,形式如下:
Generalized T-Student Kernel
TS核屬于mercer核,其數(shù)學(xué)形式如下:
Bayesian Kernel
總結(jié)
- 上一篇: 农历八月十五和阳历是什么节日
- 下一篇: html 无缝轮播图完整代码