1 推導(dǎo)感知機(jī)模型

基本思想是，把特征的線性加權(quán)值作為一個(gè)分?jǐn)?shù)，根據(jù)這個(gè)分?jǐn)?shù)與一個(gè)門限值的關(guān)系來進(jìn)行分類：

我們加一個(gè)特征x0等于1，門限值就可以放到w里面去，得到更簡(jiǎn)單的形式：

這就是感知機(jī)模型，對(duì)應(yīng)一個(gè)分離超平面。

?

2 如何來學(xué)習(xí)感知機(jī)

“知錯(cuò)能改”原則：找到一個(gè)誤分類點(diǎn)，就嘗試去修正它。具體的修正過程如下：

當(dāng)找到一個(gè)誤分類點(diǎn)時(shí)，如果y本來是+1，則說明現(xiàn)在的w與x的內(nèi)積為負(fù)，w與x的夾角太大，應(yīng)該這樣更新：

如果y本來是-1，則說明現(xiàn)在的w與x的內(nèi)積為正，w與x的夾角太小，應(yīng)該這樣更新：

總結(jié)起來，就是對(duì)于誤分類點(diǎn)：

因此，標(biāo)準(zhǔn)的感知機(jī)學(xué)習(xí)算法可以總結(jié)如下：

直到不包含誤分類點(diǎn)，算法停止。

?

3 證明PLA算法在線性可分的數(shù)據(jù)集D上一定能收斂

（證明過程暫時(shí)沒看懂）

4 pocket 算法

上面的PLA算法往往不能用于實(shí)際的數(shù)據(jù)集，因?yàn)閷?shí)際數(shù)據(jù)集是包含噪聲，往往不滿足線性可分，那么上面的算法就不會(huì)停止。因此我們應(yīng)該允許PLA犯一些錯(cuò)，但是應(yīng)該把犯錯(cuò)最小化，問題表述為：

不幸的是，上面的問題是一個(gè)NP-Hard問題，因此我們用一個(gè)簡(jiǎn)單的貪心算法來求解它的近似解：

?即每次只有當(dāng)wt+1犯錯(cuò)更少時(shí)才用它來代替wt。

?5 pocket與PLA的對(duì)比

pocket更慢，因?yàn)槊看味家獙?duì)整個(gè)數(shù)據(jù)集來檢查是不是犯錯(cuò)更少：

?

轉(zhuǎn)載于:https://www.cnblogs.com/coldyan/p/6220260.html

總結(jié)

以上是生活随笔為你收集整理的《机器学习基石》---感知机算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。