奧卡姆剃刀(Occam's?Razor).????奧卡姆剃刀（Occam's?Razor,?Ockham's?Razor）是由14世紀邏輯學家、圣方濟各會修士奧卡姆的威廉(William?of?Occam)提出的一個原理。這個原理稱為“如無必要，勿增實體”(Entities?should?not?be?multiplied?unnecessarily)。有時為了顯示其權威性，人們也使用它原始的拉丁文形式[引自Phil?Gibbs]：
Pluralitas?non?est?ponenda?sine?necessitate.
Frustra?fit?per?plura?quod?potest?fieri?per?pauciora.
Entia?non?sunt?multiplicanda?praeter?necessitatem.
這句話聽起來比較像英語中的If?it?is?not?broken,?do?not?fix?it。但它實際表達的是The?simplest?explanation?is?usually?the?best?one[wiki]。
吳軍的數學之美系列中，我印象比較深的一句話是：一個正確的數學模型應當在形式上是簡單的。所以一見到用一些算法試圖提高某一個算法的論文，尤其是沒什么特殊原因的情況下，我總是有想吐的感覺。為什么總有人來惡心我呢？Any?intelligent?fool?can?make?things?bigger,?more?complex,?and?more?violent.?It?takes?a?touch?of?genius—?and?a?lot?of?courage—?to?move?in?the?opposite?direction?[Einstein]?(任何一個有智力的笨蛋都可以把事情變得更大，更復雜，更暴力，但是向相反的方向前進卻需要一點天賦和極大的勇力)。
當然簡單不是絕對的簡單。Everything?should?be?made?as?simple?as?possible,?but?not?simpler?[Einstein]。這句話解釋了我們?yōu)槭裁赐枚魏瘮?#xff0c;而不選擇線性函數或高次函數去按擬合的原因。
Ensemble
Ensemble有幾個比較有意思的地方：
1.????如果分類器效果都比較差，它可能會較大的提高效果。
2.????如果分類器效果都比較好，一般不會提高多少
3.????如果是異種分類器Ensemble，尤其是引入了分類效果不好的分類器，會導致Ensemle的分類效果不如分類能力最強的分類器。
第一點說明了，民主投票往往在參與者能力都不強的情況下最有意義，第二點說明了，如果參與者能力都很強，民主意義也不太有意義(有點英雄所見略同的味道)。第三點最為重要，一般分類效果比較差的分類器學習速度非常快，所以我們對它的分類能力差也能容忍。而這個情況在民主決定時是正好相反的，往往得出最可笑結論的人，他的學習能力也是非常差，要在討論過程中不斷向他解釋，回答他那些毫無意義的問題。最重要的是，如果是一群笨蛋控制了投票，民主就是一個笑話。
那么可以得出，民主應該只在大部分人可以做出正確結論的條件下，才是最有意義的。
Transduction????在半監(jiān)督算法中，有Transductive?Learning和Instructive?Learning之分。Vapnik曾經提出了一個哲學原則。
Vapniks?principle:?When?trying?to?solve?some?problem,?one?should?not?solve?a?more?difficult?problem?as?an?intermediate?step.????大意是：當試圖去解決一個(些)問題的過程中，一個人不應該在去解決比這個更困難的問題作為中間步驟。這句話初聽起來似乎make?no?sense.?中間步驟怎么會比最終問題還困難呢？舉例來說：我想通過政治考試，但是我非常不喜歡學政治(我在這些方面還是很正常的)，老師也了解我們，給我們劃好了考試范圍，那么我當然只背范圍中出現的。相反那種通過先讀《資本論》，再看《毛選》方式來通過考試的人，就違背了這個原則。
概念漂移
“You?cannot?step?twice?into?the?same?stream.?For?as?you?are?stepping?in,?other?waters?are?ever?flowing?on?to?you.”[Heraclitus][Olfa?Nasraoui]，你無法再次走入相同的河流，因為你再次走入時，流過你的已經是不同的水。
這就是過分沉湎歷史的人無法正確把握今天和未來的原因。
“In?rivers,?the?water?that?you?touch?is?the?last?of?what?has?passed?and?the?first?of?that?which?comes;?so?with?present?time.”[Leonardo?da?Vinci]，在河流中，你接觸的水是過去的結束和未來的開始，也是當前的時間。
今天的概念才與未來的概念最接近，而不是過去。
“No?man?ever?steps?in?the?same?river?twice,?for?it's?not?the?same?river?and?he's?not?the?same?man.”[Heraclitus]。結合起來就是物非人非，這句話在數據流學習時仍然可能成立，因為有的學習算法是具有隨機性質的。
歷史若是被看成是一種純知識，并允許來左右智力，那么它對人們而言，就是最終平衡生活收支的東西。只有循著一個強大，散發(fā)著活力的影響力，比如一個新的文化體系（在數據流挖掘中，它也就是采用什么框架），歷史研究對未來才是有利的——只此，只能是它被一下更高的力量引導和控制，而不是它本身引導和控制其它力量。[尼采] 參考： http://bsd.vcgood.com/showarticle.php?id=9364

總結

以上是生活随笔為你收集整理的Thinking In Machine Learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。