基本概念

線性可分：在特征空間中可以用一個線性分界面正確無誤地分開兩 類樣本；采用增廣樣本向量，即存 在合適的增廣權向量 a 使得：

則稱樣本是線性可分的。如下圖中左圖線性可分，右圖不可分。所有滿足條件的權向量稱為解向量。權值空間中所有解向量組成的區域稱為解區。

通常對解區限制：引入余量b，要求解向量滿足：

?

使解更可靠（推廣性更強），防止優化算法收斂到解區的邊界。

感知準則函數及求解

對于權向量a，如果某個樣本yk被錯誤分類，則。我們可以用對所有錯分樣本的求和來表示對錯分樣本的懲罰：

其中Yk是被a錯分的樣本集合。當且僅當JP(a*) = min JP(a) = 0 時，a*是解向量。這就是Rosenblatt提出的感知器（Perceptron）準則函數。

感知器準則函數的最小化可以使用梯度下降迭代算法求解：

其中，k為迭代次數，η為調整的步長。即下一次迭代的權向量是把當前時刻的權向量向目標函數的負梯度方向調整一個修正量。

因此，迭代修正的公式為：

即在每一步迭代時把錯分的樣本按照某個系數疊加到權向量上。

通常情況，一次將所有錯誤樣本進行修正不是效率最高的做法，更常用是每次只修正一個樣本或一批樣本的固定增量法：

收斂性討論：可以證明，對于線性可分的樣本集，采用這種梯度下降的迭代算法：

經過有限次修正后一定會收斂到一個解向量。

理論結論：只要訓練樣本集是線性可分的，對于任意的初值 a(1) ，經過有限次疊代，算法必定收斂。

感知器是最簡單可以“學習”的機器，可以解決線性可分的問題。當樣本線性不可分時，感知器算法不會收斂。實際應用中直接使用感知器的場合并不多，但他是很多復雜算法的基礎。

（轉載請注明作者和出處：http://blog.csdn.net/xiaowei_cqu?未經允許請勿用于商業用途）

總結

以上是生活随笔為你收集整理的感知器 Perceptron的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。