最大方差解釋

1. 問題

     真實(shí)的訓(xùn)練數(shù)據(jù)總是存在各種各樣的問題：

1、 比如拿到一個(gè)汽車的樣本，里面既有以“千米/每小時(shí)”度量的最大速度特征，也有“英里/小時(shí)”的最大速度特征，顯然這兩個(gè)特征有一個(gè)多余。

2、 拿到一個(gè)數(shù)學(xué)系的本科生期末考試成績單，里面有三列，一列是對(duì)數(shù)學(xué)的興趣程度，一列是復(fù)習(xí)時(shí)間，還有一列是考試成績。我們知道要學(xué)好數(shù)學(xué)，需要有濃厚的興趣，所以第二項(xiàng)與第一項(xiàng)強(qiáng)相關(guān)，第三項(xiàng)和第二項(xiàng)也是強(qiáng)相關(guān)。那是不是可以合并第一項(xiàng)和第二項(xiàng)呢？

3、 拿到一個(gè)樣本，特征非常多，而樣例特別少，這樣用回歸去直接擬合非常困難，容易過度擬合。比如北京的房價(jià)：假設(shè)房子的特征是（大小、位置、朝向、是否學(xué)區(qū)房、建造年代、是否二手、層數(shù)、所在層數(shù)），搞了這么多特征，結(jié)果只有不到十個(gè)房子的樣例。要擬合房子特征->房價(jià)的這么多特征，就會(huì)造成過度擬合。

4、 這個(gè)與第二個(gè)有點(diǎn)類似，假設(shè)在IR中我們建立的文檔-詞項(xiàng)矩陣中，有兩個(gè)詞項(xiàng)為“l(fā)earn”和“study”，在傳統(tǒng)的向量空間模型中，認(rèn)為兩者獨(dú)立。然而從語義的角度來講，兩者是相似的，而且兩者出現(xiàn)頻率也類似，是不是可以合成為一個(gè)特征呢？

5、 在信號(hào)傳輸過程中，由于信道不是理想的，信道另一端收到的信號(hào)會(huì)有噪音擾動(dòng)，那么怎么濾去這些噪音呢？

     回顧我們之前介紹的《模型選擇和規(guī)則化》，里面談到的特征選擇的問題。但在那篇中要剔除的特征主要是和類標(biāo)簽無關(guān)的特征。比如“學(xué)生

總結(jié)

以上是生活随笔為你收集整理的主成分分析（Principal components analysis）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。