轉：https://guangchun.wordpress.com/2011/10/13/ml-bayes-map/

中國有句話叫“馬后炮”， 大體上用在中國象棋和諷刺人兩個地方，第一個很厲害，使對方將帥不得動彈，但這個跟我們今天說的基本沒關系；第二個用途源于第一個，說事情都發(fā)生了再采取 措施，太遲了。但不可否認，我們的認知就是從錯誤中不斷進步，雖然已經(jīng)做錯的不可能變得正確，但“來者尤可追”，我們可以根據(jù)既往的經(jīng)驗（數(shù)據(jù)），來判斷 以后應該采取什么樣的措施。這其實就是有監(jiān)督機器學習的過程。其中涉及的一個問題就是模型中參數(shù)的估計。

為什么會有參數(shù)估計呢？這要源于我們對所研究問題的簡化和假設。我們在看待一個問題的時候，經(jīng)常會使用一些我們所熟知的經(jīng)典的模型去簡化問題，就像 我們看一個房子，我們想到是不是可以把它看成是方形一樣。如果我們已經(jīng)知道這個房子是三間平房，那么大體上我們就可以用長方體去描述它的輪廓。這個畫房子 的問題就從無數(shù)的可能性中，基于方圓多少里大家都住平房的經(jīng)驗，我們可以假設它是長方體，剩下的問題就是確定長寬高這三個參數(shù)了，問題被簡化了。再如學生考試的成績，根據(jù)既往的經(jīng)驗，我們可以假設學生的成績是正態(tài)分布的，那么剩下的問題就是確定分布的期望和方差。所以，之所以要估計參數(shù)，是因為我們希望用較少的參數(shù)去描述數(shù)據(jù)的總體分布。而可以這樣做的前提是我們對總體分布的形式是知曉的，只需要估計其中參數(shù)的值；否則我們要借助非參數(shù)的方法了。

參數(shù)估計的方法有多種，這里我們分析三種基于概率的方法，分別是最大似然估計（Maximum Likelihood）、貝葉斯估計（Bayes）和最大后驗估計（Maximum a posteriori）。我們假設我們觀察的變量是，觀察的變量取值（樣本）為，要估計的參數(shù)是，的分布函數(shù)是（我們用條件概率來顯式地說明這個分布是依賴于取值的）。實際中，和都可以是幾個變量的向量，這里我們不妨認為它們都是標量。

• 最大似然估計 Maximum Likelihood (ML)

“似然”的意思就是“事情（即觀察數(shù)據(jù)）發(fā)生的可能性”，最大似然估計就是要找到的一個估計值，使“事情發(fā)生的可能性”最大，也就是使最大。一般來說，我們認為多次取樣得到的是獨立同分布的（iid），這樣

由于一般都比較小，且N一般都比較大，因此連乘容易造成浮點運算下溢，所以通常我們都去最大化對應的對數(shù)形式

具體求解釋時，可對右式對求導數(shù)，然后令為0，求出值即為。

最大似然估計屬于點估計，只能得到待估計參數(shù)的一個值。(1) 但是在有的時候我們不僅僅希望知道，我們還希望知道取其它值得概率，即我們希望知道整個在獲得觀察數(shù)據(jù)后的分布情況. (2) 最大似然估計僅僅根據(jù)（有限的）觀察數(shù)據(jù)對總體分布進行估計，在數(shù)據(jù)量不大的情況下，可能不準確。例如我們要估計人的平均體重，但是抽樣的人都是小孩，這 樣我們得到的平均體重就不能反映總體的分布，而我們應該把“小孩之占總人口20%”的先驗考慮進去。這時我們可以用貝葉斯方法。

• 貝葉斯估計 Bayes

使用Bayes公式，我們可以把我們關于的先驗知識以及在觀察數(shù)據(jù)結合起來，用以確定的后驗概率：

其中是累積因子，以保證和為1。要使用Bayes方法，我們需有關于的先驗知識，即不同取值的概率。比如表示下雨，表示不下雨，根據(jù)以往的經(jīng)驗我們大體上有、，在這種知識不足的時候，可以假設是均勻分布的，即取各值的概率相等。

在某個確定的取值下，事件x的概率就是，這是關于的函數(shù)，比如一元正態(tài)分布。與上一節(jié)中的一樣，我們認為各次取樣是獨立的，可以分開來寫，這樣我們就可以得到的一個表達式，不同的對應不同的值。

根據(jù)獲得的，我們邊可以取使其最大化的那個取值，記為。可能有人已經(jīng)看出問題來了：我們做了很多額外功，為了求得一個，我們把取其它值的情況也考慮了。當然在有的時候分布是有用的，但是有的時候我們取并不需要知道，我們只要那個。最大后驗估計這個時候就上場了。

• 最大后驗估計 MAP

最大后驗估計運用了貝葉斯估計的思想，但是它并不去求解，而是直接獲得。從貝葉斯估計的公式可以看出，是與無關的，要求得使最的的，等價于求解下面的式子：

與最大似然估計中一樣，我們通常最大化對應的對數(shù)形式：

這樣，我們便無需去計算，也不需要求得具體的部分，便可以得到想要的。

總結一下：三種方法各有千秋，使用于不同的場合。當對先驗概率的估計沒有信心，可以使用最大似然估計（當然也可以使用其它兩種）。貝葉斯估計得到了后驗概率的分布，最大似然估計適用于只需要知道使后驗概率最大的那個。

另外一方面，我們可以感覺到，最大似然估計和Bayes/MAP有很大的不同，原因在于后兩種估計方法利用了先驗知識，如果利用恰當，可以得到更好的結果。其實這也是兩大派別（Frequentists(avoid the use of priors) and Bayesians)的一個區(qū)別。

轉載于:https://www.cnblogs.com/sp4comm/p/4710857.html

《新程序員》：云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的参数估计：最大似然、贝叶斯与最大后验的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。