文章目錄

• 分類(lèi)和回歸的關(guān)系：
• 多分類(lèi)問(wèn)題處理的普適的方法：
• • 一對(duì)多(One VS Rest):
  • 一對(duì)一（One vs One):
  • 有向無(wú)環(huán)圖方法（Directed Acyclic Graph Method）
• 支持向量機(jī)回歸（SVR):
• • SVR優(yōu)化目標(biāo)：
  • SVM 優(yōu)化目標(biāo)：

分類(lèi)和回歸的關(guān)系：

SVM二分類(lèi)，SVM多分類(lèi)，SVM回歸（SVR)：這三個(gè)分類(lèi)類(lèi)別是從少到多，從離散到連續(xù)的過(guò)程。

多分類(lèi)問(wèn)題處理的普適的方法：

一對(duì)多(One VS Rest):

對(duì)于一個(gè) K 類(lèi)問(wèn)題、OvR 將訓(xùn)練 K 個(gè)二分類(lèi)模型{G1,…,GK}，每個(gè)模型將訓(xùn)練集中的某一類(lèi)的樣本作為正樣本、其余類(lèi)的樣本作為負(fù)樣本。
預(yù)測(cè)結(jié)果$y_{pred}=argmax{G}_i(x)$。
這種方法比較“豪放”、主要是因?yàn)閷?duì)每個(gè)模型的訓(xùn)練都存在比較嚴(yán)重的偏差：正樣本集和負(fù)樣本集的樣本數(shù)之比在原始訓(xùn)練集均勻的情況下將會(huì)是1/（K?1）。針對(duì)該缺陷、一種比較常見(jiàn)的做法是只抽取負(fù)樣本集中的一部分來(lái)進(jìn)行訓(xùn)練。

一對(duì)一（One vs One):

對(duì)于一個(gè) K 類(lèi)問(wèn)題、OvO 將直接訓(xùn)練出K(K?1)2個(gè)二分類(lèi)模型{G12,…,G1K,G23,…,G2K,…,GK?1,K}，每個(gè)模型都只從訓(xùn)練集中接受兩個(gè)類(lèi)的樣本來(lái)進(jìn)行訓(xùn)練。在K(K?1)2次投票中得票最多的類(lèi)即為模型所預(yù)測(cè)的結(jié)果。
OvO 是一個(gè)相當(dāng)不錯(cuò)的方法、沒(méi)有類(lèi)似于 OvR 中“有偏”的問(wèn)題。然而它也是有一個(gè)顯而易見(jiàn)的缺點(diǎn)的——由于模型的量級(jí)是K^2、所以它的時(shí)間開(kāi)銷(xiāo)會(huì)相當(dāng)大。

有向無(wú)環(huán)圖方法（Directed Acyclic Graph Method）

DAG 會(huì)將K(K?1)/2個(gè)模型作為一個(gè)有向無(wú)環(huán)圖中的K(K?1)/2節(jié)點(diǎn)并逐步進(jìn)行決策，大概如下圖：

支持向量機(jī)回歸（SVR):

支持向量回歸常簡(jiǎn)稱(chēng)為 SVR，它的基本思想與“軟”間隔的思想類(lèi)似——傳統(tǒng)的回歸模型通常只有在模型預(yù)測(cè)值f(x)和真值y完全一致時(shí)損失函數(shù)的值才為 0（最經(jīng)典的就是當(dāng)損失函數(shù)為∥f(x)?y∥^2的情形），而 SVR 則允許f(x)和y之間有一個(gè)?的誤差、亦即僅當(dāng):
|f(x)?y|>?, 對(duì)于分類(lèi)問(wèn)題、只有當(dāng)樣本點(diǎn)離分界面足夠遠(yuǎn)時(shí)才不計(jì)損失；對(duì)于回歸問(wèn)題、則只有當(dāng)真值離預(yù)測(cè)值足夠遠(yuǎn)時(shí)才計(jì)損失。

SVR優(yōu)化目標(biāo)：

SVM 優(yōu)化目標(biāo)：

約束條件為：

總結(jié)

以上是生活随笔為你收集整理的机器学习：SVM多分类，SVM回归（SVR)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。