對于線性方程w*x+b = 0

對應(yīng)于空間的一個超平面S，其中w是超平面的法向量，b是超平面的截距。超平面將空間劃分為兩個部分，位于平面兩邊的點分屬于正負兩類。

前提：數(shù)據(jù)線性可分，可以找的一個超平面S，w*x+b = 0，能夠?qū)?shù)據(jù)完整劃分開。

輸入：{(x₁,y₁),(x₂,y₂),..(x_N,y_N),}，其中y_i={-1，1}

輸出：w和b。

算法的原始形式：

選取初始值w₀和b₀

在數(shù)據(jù)集中選擇數(shù)據(jù) (x_i,y_i)

如果y_i(w_ix+b)<=0, w←w+ηy_ix_{i ?}b←b+ηy_i

轉(zhuǎn)到步驟2直到?jīng)]有誤分類點

經(jīng)過有限次搜索可以找到這個分類面，不唯一，與初值選擇，誤分類點的選擇順序等有關(guān)。

感知機對偶，

對原始形式做變形，

w =?η(y₁x₁+y₂x_{2+ ?+}y_ix_i) ,假設(shè)n_i 是這些數(shù)據(jù)點第i個點在訓(xùn)練過程中被誤分類的總次數(shù)，則有

w=∑n_iηy_ix_i

如果令a_i=n_iη，則有w=∑a_iy_ix_i，同理b=∑a_iy_i

算法的對偶形式：

取 a = (a₁，a₂， ?a_N)^T

選取初始值a=0和b=0

在數(shù)據(jù)集中選擇數(shù)據(jù) (x_i,y_i)

如果y_i∑(a_jx_j*x_i+b)<=0, a_i←a_i+η_{i ?}b←b+ηy_i

轉(zhuǎn)到步驟2直到?jīng)]有誤分類點

最后學(xué)習(xí)w和b可以表示為：w=∑a_iy_ix_i，b=∑aiyi

提前計算gram矩陣，降低運算量。

轉(zhuǎn)載于:https://www.cnblogs.com/lancet1105/p/10341550.html

總結(jié)

以上是生活随笔為你收集整理的统计机器学习第二章 感知机的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。