2.1Minsky和Papert指出：
感知機因為是線性模型，
所以不能表示復雜的函數，如異或。
驗證感知機為什么不能表示異或
參考鏈接：
https://blog.csdn.net/yangfeisc/article/details/45486067

2.2，換下數據即可，具體代碼實現參考：
https://blog.csdn.net/appleyuchi/article/details/82928881

2.3
樣本集線性可分的充分必要條件是：
正實例點集構成的凸殼與負實例點集所構成的凸殼互不相交

首先是概念：
這里的凸殼≠凸集。
“相交”的意思是：一個樣本點，既屬于凸殼A，也屬于凸殼B，
也就是說，某個樣本點同時滿足兩個集合的約束條件。

凸殼到底是一個什么鬼？？？？？
看下面的初中數學課件回顧一下：

證明如下：

必要性：線性可分->凸殼不相交

設數據集T中的正例點集為$S_{+}$，
$S_{+}$的凸殼為$conv(S_{+})$，
負實例點集為$S_{?}$，
$S_{?}$的凸殼為$conv(S_{?})$，
若T是線性可分的，則存在一個超平面:$w?x+b=0$能夠將$S_{+}$和$S_{?}$
完全分離。
假設對于所有的正例點$x_i$，有:
$w?x_i+b={\epsilon }_i$易知${\epsilon }_i>0,i=1,2,?,|S_{+}|$。
若$conv(S_{+})$和$conv(S_{?})$相交，即存在某個元素s，
同時滿足$s\in conv(S_{+})和s\in conv(S_{?})$。
對于$conv(S_{+})$中的元素$s^{+}$
有$$w?s^{+}=w?\sum _{i=1}^k{\lambda }_i{x}_i=\sum _{i=1}^k{\lambda }_i({\epsilon }_i?b)=\sum _{i=1}^k({\lambda }_i{\epsilon }_i?b{\lambda }_i)$$
注意，這里因為凸殼（convex hull）的性質，有：
${\sum }_{i=1}^k{\lambda }_i=1$
所以上面的結果是：
$$\sum _{i=1}^k({\lambda }_i{\epsilon }_i)?b$$

因此$w?s^{+}+b={\sum }_{i=1}^k{\lambda }_i{\epsilon }_i>0$，
同理對于$S_{?}$中的元素$s^{?}$有
$w?s^{?}+b={\sum }_{i=1}^k{\lambda }_i{\epsilon }_i<0$，

線性可分條件下，假設兩個凸殼相交，那么存在樣本點s同時滿足
$s\in conv(S_{+})$且$s\in conv(S_{?})$
則$w?s^{+}+b=w?s+b={\sum }_{i=1}^k{\lambda }_i{\epsilon }_i>0①$
且$w?s^{?}+b=w?s+b={\sum }_{i=1}^k{\lambda }_i{\epsilon }_i>0②$
②違反了假設的前提：線性可分。
因為線性可分時，必須有②＜0
所以假設不成立，因此$conv(S_{+})$和$conv(S_{?})$必不相交
從而推出必要性：線性可分->凸殼不相交

---

充分性：凸殼不相交->線性可分

設數據集T中的正例點集為$S_{+}，S_{+}$的凸殼為$conv(S_{+})$，負實例點集為$S_{?}，S_{?}$的凸殼為$conv(S_{?})，且conv(S_{+})與conv(S_{?})$不相交，
定義兩個點$x_1,x_2$的距離為
$dist(x_1,x_2)=||x_1?x_2|{|}_2=\sqrt{(x_1?x_2)?(x_1?x_2)}$
定義$conv(S_{+})與conv(S_{?})$的距離為，
$dist(conv(S_{+}),conv(S_{?}))=\min ||s_{+}?s_{?}||，s_{+}\in conv(S_{+}),s_{?}\in conv(S_{?})$

設$x_{+}\in conv(S_{+})，x_{?}\in conv(S_{?})$且$dist(x_{+},x_{?})=dist(conv(S_{+}),conv(S_{?}))$。
則對于任意正例點x有$dist(x,x_{?})\ge dist(x_{+},x_{?})$。
注意，這里的$(x_{+},x_{?})$是用來代表$S_{+}$和$S_{?}$最近距離的兩個點。
同理，對于所有的負例點x有$dist(x,x_{+})\ge dist(x,x_{?})$。
存在超平面$w?x+b=0$其中

$w=x_{+}?x_{?}$
$b=?\frac{x_{+}?x_{+}?x_{?}?x_{?}}{2}$
（以上就是兩個技巧）

則對于所有的正例點x(易知$w?x_{+}+b>0$，因此若$x_{+}$屬于正例點，則令$x_{+}=x$)，

$w?x+b$
$$=(x_{+}?x_{?})?x?\frac{x_{+}?x_{+}?x_{?}?x_{?}}{2}$$

$$=x_{+}?x?x_{?}?x?\frac{x_{+}?x_{+}?x_{?}?x_{?}}{2}$$

$$=\frac{||x_{?}?x|{|}_2^2?||x_{+}?x|{|}_2^2}{2}$$

$$=\frac{dist(x,x_{?}{)}^2?dist(x,x_{+}{)}^2}{2}$$
（這里我覺得不用搞得跟下面一樣麻煩，只要分別在兩個凸殼中各自取一個點，就能說明上面的式子的符號想相反的了，然后就得證了。）
若$dist(x,x_{?})\le dist(x,x_{+})$，
則$dist(x,x_{?})\le dist(x,x_{+})\le dist(x_{?},x_{+})$，
那么$dist(S_{+},S_{?})<dist(x_{+},x_{?})$(注：證明過程見下方)，
推出矛盾。
因此對所有的正例點，$w?x+b>0$成立。
同理，對所有的負例點，$w?x+b<0$成立。
至此，充分性：凸殼不相交->線性可分

補充：用反正法證明$$dist(x,x_{?})>dist(x,x_{+})$$
證明：若$$dist(x,x_{?})\le dist(x,x_{+})$$，
則存在$$t=\frac{(x_{?}?x_{+})?(x?x_{+})}{||x?x_{+}|{|}_2^2}$$，
令$$x^{{}^{\prime }}=tx+(1?t)x_{+}$$，則$$(x_{?}?x^{{}^{\prime }})?(x_{+}?x)=0$$。

易知$t\le 1$先證明0<t，我們可以將x,x_{+},x_{-}看作是空間中三個不同的點，三條邊的長度分別為$dist(x,x_{+}),dist(x,x_{?}),dist(x_{?},x_{+})$
由上文知$$dist(x,x_{+})\ge dist(x,x_{?})\ge dist(x_{?},x_{+})$$
根據三角形的大邊對應大角這一特性，很容易可以看出
$x_{+}?x$與$x_{+}?x_{?}$之間的夾角小于90度,
因此t>0。
那么
$$dist(x^{{}^{\prime }},x_{?})<dist(x_{+},x_{?}),$$
又因為$x^{{}^{\prime }}$必在$conv(S_{+})$內部，
所以推出矛盾。

---

本文來自 藍色骨頭零號 的CSDN 博客 ，全文地址請點擊：https://blog.csdn.net/y954877035/article/details/52210734?utm_source=copy

總結

以上是生活随笔為你收集整理的统计学习方法-第二章课后习题答案整理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。