關(guān)于數(shù)據(jù)科學，書上不曾提及的三點經(jīng)驗

發(fā)表于2015-09-10 23:33| 445次閱讀| 來源Mikio L. Braun Blog| 0 條評論| 作者Mikio L. Braun

大數(shù)據(jù)分布式計算機器學習深度學習特征提取 width="22" height="16" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%2Fwww.csdn.net%2Farticle%2F2015-09-10%2F2825668&type=3&count=&appkey=&title=%E5%85%B3%E4%BA%8E%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%EF%BC%8C%E4%B9%A6%E4%B8%8A%E5%BE%88%E5%B0%91%E6%8F%90%E5%8F%8A%E7%9A%84%E4%B8%89%E7%82%B9%E7%BB%8F%E9%AA%8C%EF%BC%9A%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BB%B7%E6%96%B9%E6%B3%95%E6%98%AF%E5%85%B3%E9%94%AE%EF%BC%8C%E7%89%B9%E5%BE%81%E6%8F%90%E5%8F%96%E6%98%AF%E6%A0%B9%E6%9C%AC%EF%BC%8C%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9%E8%80%8C%E9%9D%9E%E6%95%B0%E6%8D%AE%E9%9B%86%E8%A7%84%E6%A8%A1%E6%9C%80%E8%B4%B9%E6%97%B6%E9%97%B4%E3%80%82&pic=&ralateUid=&language=zh_cn&rnd=1442237263156" frameborder="0" scrolling="no" allowtransparency="true">摘要：關(guān)于數(shù)據(jù)科學，書上很少提及的三點經(jīng)驗：模型評價方法是關(guān)鍵，特征提取是根本，模型選擇而非數(shù)據(jù)集規(guī)模最費時間。

【編者按】本文作者指出了關(guān)于數(shù)據(jù)科學書上很少提及的三點經(jīng)驗：模型評價方法是關(guān)鍵，特征提取是根本，模型選擇而非數(shù)據(jù)集規(guī)模最費時間。文章指出，處理上萬維的特征和幾十萬的樣本的現(xiàn)代算法是愚蠢的，而特征工程理論還不完善，更像是一門藝術(shù)。

這是數(shù)據(jù)科學大行其道的時代。各類課程、博客、培訓學校如雨后春筍般出現(xiàn)。然而，每次我瀏覽這些學習資料時，我發(fā)現(xiàn)它們過于強調(diào)一些具體的算法。理解邏輯回歸或者深度學習的原理當然很酷，可是一旦從事數(shù)據(jù)相關(guān)工作，你會發(fā)現(xiàn)還有其它一些同樣重要的事情，甚至更為重要的。

我真不應(yīng)該去責備這些課程。我在大學任教機器學習課程很多年了，課堂上主要是講解具體算法。你掌握了支持向量機（SVM）、高斯混合模型（GMM）、k均值（k-Means）聚類等算法的細枝末節(jié)，但是直到寫碩士論文的時候才學會如何正確地處理數(shù)據(jù)。

那么何謂正確？最終結(jié)果難道不能驗證處理方法嗎？得到出色的預(yù)測效果是否意味著一切順利呢？顯然沒錯，但關(guān)鍵是確保算法在未來數(shù)據(jù)上仍舊得到出色的效果。我在別處也寫過，如果僅憑著訓練數(shù)據(jù)的表現(xiàn)就輕信自己的算法，實在是太自欺欺人了。

那么下面是我的三個主要見解，其它書本里很少提及。

1、評價方法是關(guān)鍵

數(shù)據(jù)分析/機器學習/數(shù)據(jù)科學（或者無論你如何稱呼它）的主要目標就是搭建一套系統(tǒng)并且將來在測試數(shù)據(jù)上效果好。監(jiān)督式學習（例如分類）和非監(jiān)督式學習（例如聚類）的差異導致很難籠統(tǒng)地解釋它，但無非都是你收集一個數(shù)據(jù)集合，在其之上搭建系統(tǒng)和設(shè)計算法。但最終你需要將這種算法應(yīng)用于未來的數(shù)據(jù)，同時希望確保在新數(shù)據(jù)上的表現(xiàn)和在原始數(shù)據(jù)集上的表現(xiàn)幾乎一樣好。

初學者常犯的錯誤就是僅僅關(guān)注手頭數(shù)據(jù)集上的表現(xiàn)效果，然后認為在未來數(shù)據(jù)上同樣奏效。不幸的是這種情況非常稀罕。我們暫且以監(jiān)督式學習為例，它的目標是根據(jù)你的輸入預(yù)測輸出結(jié)果，比如把郵件分為垃圾郵件和正常郵件兩類。

如果你只考慮訓練集數(shù)據(jù)，那么機器很容易記住整個訓練集，然后返回完美的測試結(jié)果（除非數(shù)據(jù)自相矛盾）。事實上，對人來說這種情況也很正常。還記得你在學外語背單詞的時候，總是把單詞順序打亂來測試嗎？因為否則大腦就會憑著之前單詞的順序來回憶。

機器憑借它們存儲和讀取大量數(shù)據(jù)的強大能力，輕而易舉地完成同類的任務(wù)。這就造成過擬合現(xiàn)象，還缺乏泛化能力。

因此合適的評價方法是模擬有未來數(shù)據(jù)的場景，把數(shù)據(jù)集一分為二，一部分做訓練集，然后在另一部分測試集數(shù)據(jù)上做預(yù)測。通常，訓練集被分得大一些，這個過程也會重復很多遍以得到一系列測試結(jié)果，來觀察算法的穩(wěn)定性。這整個過程就稱為交叉驗證。

為了模擬在未來數(shù)據(jù)上的性能，，你需要把現(xiàn)有的數(shù)據(jù)一分為二，一份用來訓練模型，另一份僅用于模型評估。

然而，差錯還是會時常發(fā)生，尤其當數(shù)據(jù)集是非靜態(tài)的，也就是說，數(shù)據(jù)的分布隨著時間而發(fā)生變化。現(xiàn)實世界的數(shù)據(jù)往往如此。一月份的銷售圖表和六月份的看上去會迥然不同。

或者數(shù)據(jù)點之間相關(guān)性很高，就是說若你知道一個數(shù)據(jù)點，那另一個樣本數(shù)據(jù)的信息也八九不離十了。打個比方，拿股票價格來說，天與天的波動并不劇烈，那么以天為單位隨機切分訓練/測試數(shù)據(jù)集會導致訓練集和測試集的數(shù)據(jù)高度相關(guān)。

上述情況一旦發(fā)生了，你就會得到過度優(yōu)化的結(jié)果，而這個算法在真實測試數(shù)據(jù)上的表現(xiàn)并不盡如人意。在最壞的情況下，你費盡精力說服別人采用你的算法，而算法卻失效了，因此學會正確地評估模型是關(guān)鍵！

2、特征提取是根本

學習一種新算法令人激動，可事實上大多數(shù)復雜算法的效果大同小異，真正造成差異的是原始數(shù)據(jù)如何轉(zhuǎn)化為用以學習的特征這個步驟。

現(xiàn)代學習算法十分強大，處理上萬維的特征和幾十萬的樣本都是小菜一碟，然而事實卻是這些算法最后來看都是愚蠢的。尤其是那些學習線性模型的算法（如邏輯回歸，線性支持向量機）簡直和計算器一般簡陋。

它們從足夠的數(shù)據(jù)樣本里鑒別出有效信息的本領(lǐng)很強大，但如果有效信息并不被包含其中，或者不能用輸入特征的線性組合所表示，它們就沒有了用武之地。它們本身也無法通過“洞察”數(shù)據(jù)來完成數(shù)據(jù)精簡這一環(huán)節(jié)。

換句話說，如果找到合適的特征，數(shù)據(jù)量就能被大大縮減。理想情況下，如果把所有特征縮減到只剩下你想預(yù)測的方程，那就沒什么可學習的了，對吧？這就是特征提取的強大之處！

需要提醒兩點：首先，你必須確保完全理解這些等價算法中的一種，然后就可以一直用下去了。因此你并不真的需要邏輯回歸加上線性SVM，選一種就夠了。這還包括明白哪些算法幾乎是等價的，使用這些模型的關(guān)鍵點在哪里。深度學習有些區(qū)別，但是各種線性模型的表達能力幾乎一樣。盡管，訓練時間、解的稀疏性等會有差別，但大多數(shù)情況下它們的預(yù)測能力是相近的。

其次，你必須完全掌握特征工程。不幸的是，這更像是一門藝術(shù)，而且因為理論不完善書本里很少提及。特征值歸一化是一條捷徑。有時候，特征值需要取對數(shù)計算。若是能夠降低一部分自由度，也就是說去掉數(shù)據(jù)中對預(yù)測結(jié)果沒影響的那部分變量，你所需要訓練的數(shù)據(jù)量將會大大降低。

有時候這些轉(zhuǎn)換很容易被發(fā)現(xiàn)。例如，如果你要做手寫字符識別，只要有前景和背景的區(qū)分，那么字符的顏色對識別顯然是不重要的。

我知道課本總是推銷一些看起來很強大的算法，似乎只要你把數(shù)據(jù)扔給它們就萬事大吉了。從理論觀點和無窮的數(shù)據(jù)來源角度來說，這也許是正確的。但現(xiàn)實中，數(shù)據(jù)和我們的時間是有限的，尋找高信息量的特征絕對是至關(guān)重要的。

3、時間瓶頸是模型選擇，而非數(shù)據(jù)集規(guī)模

這是個在大數(shù)據(jù)時代你不愿大肆提及的事物，可是大多數(shù)數(shù)據(jù)集都能被完全加載到主存里。你的算法同樣可能也不需要消耗太多時間計算。但你需要花費大量時間從原始數(shù)據(jù)中提取特征，通過交叉驗證來比較不同特征提取方法和不同算法參數(shù)的效果差異。

在選擇模型時，你嘗試無數(shù)次各種參數(shù)的組合，并在相同的數(shù)據(jù)集上評價效果差異。

問題歸根結(jié)底在于組合項的爆發(fā)式增長。假設(shè)現(xiàn)在只有兩個參數(shù)，并且訓練模型和在測試集上評價效果（按照上述正確的評價方式）需要大約一分鐘時間。如果每個參數(shù)有5個候選值，采取5折交叉驗證（把數(shù)據(jù)集分成5份，重復訓練測試過程5次，每次用不同的一份數(shù)據(jù)作為測試集），這意味著你需要125輪計算來確定哪種算法效果最好，你的等待時間也將是大約2小時而不是1分鐘。

一個好消息是上述過程很容易并行化，因為每輪計算都是相互獨立的。特征提取也是如此，通常也是對每個數(shù)據(jù)集獨立地進行相同操作（解析、提取、轉(zhuǎn)換等），導致了所謂的“密集并行”（沒錯，這是個專業(yè)術(shù)語）。

一個壞消息主要針對大數(shù)據(jù)而言，因為所有的這些意味著對大規(guī)模實現(xiàn)復雜算法的需求很少，然而多數(shù)情況下目前用非分布式算法并行計算內(nèi)存中的數(shù)據(jù)已經(jīng)很有幫助了。

當然，也存在一些應(yīng)用，比如針對廣告優(yōu)化的TB級日志的全局模型和百萬用戶級推薦系統(tǒng)，但常規(guī)的使用案例都是這里羅列的那些類型。

最后，擁有大量數(shù)據(jù)也不意味著你真的需要這么多。關(guān)鍵在于學習過程的復雜度。如果問題用簡單的模型可以解決，就不要用過多的數(shù)據(jù)來訓練模型參數(shù)。那樣的話，隨機抽樣數(shù)據(jù)集的一部分就足夠用了。另外如我在上文中提到的那樣，有時候準確的特征表達也能大幅度削減需要的數(shù)據(jù)量。

總結(jié)

總之，知道如何正確評價結(jié)果能降低算法在未來測試數(shù)據(jù)上失敗的風險。特征提取準確也許是提升效果的最佳途徑，最后，大數(shù)據(jù)并不總是需要，盡管分布式計算能幫助減少訓練時間。

總結(jié)

以上是生活随笔為你收集整理的关于数据科学，书上不曾提及的三点经验的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。