單神經元解決XOR問題

? ? 有兩個輸入的單個神經元的使用得到的決策邊界是輸入空間的一條直線。在這條直線的一邊的所有的點，神經元輸出1；而在這條直線的另一邊的點，神經元輸出0。在輸入空間中，這條直線的位置和方向有兩個輸入節點相連的神經元的突觸權值和它的偏置決定。由于輸入模式（0,0）和（1,1）是位于單位正方形相對的兩個角，輸入模式（0,1）和（1,0）也一樣，很明顯不能做出這樣一條直線作為決策邊界可以使（0,0）和（1,1）在一個區域而（0,1）和（1,0）在另一個區域。換句話說，通常一個基本單層感知器不能解決XOR問題，也就是說原始Rosenblatt感知器不能解決XOR問題，所以可以采用多層感知器通過隱藏層來進行維度分塊來解決XOR問題。

? ? 下面是構造的一個使用一層有兩個神經元的隱藏層來解決異或問題，假設

? ? ? ? 每個神經元都由一個McCulloch-Pitts模型表示，使用閾值函數作為他的激活函數。

? ? ? ? 比特符號0和1分別有水平0和+1表示。

網絡結構和信號流圖如下：

其中神經元1，神經元2，和神經元1?2共同構造的邊界如下圖：

? ? 第二種方式是采用非線性映射（高斯函數）解決線性映射模式不可分問題（不增加空間維度）。同時依然保持單個神經元的網絡結構。

? ? 要求建立一個模式分類產生二值輸出相應，（1,1）（0，0）->0?（1,0）（0,1）->1，因此在此輸入空間中依Hamming距離最近的點映射到輸出空間中最大分離的區域，一個序列的Hamming距離定義為二值序列中從符號1變為符號0的個數，反之亦然。因此，11和00的Hamming距離是0,01和10的Hamming距離是1。

定義一對高斯函數如下：

結果如下：

?

Tip:cover定理：

? ? 將低維線性不可分問題，非線性的投射到高維（甚至同維）空間，使其更容易線性可分（這個以后細說）。

?

?

?

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—单神经元解决XOR问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。