最大似然估計MLE

MLE（Maximum Likelihood Estimation）就是利用已知的樣本結果，反推最有可能(最大概率)導致這樣結果的參數(shù)值的計算過程。直白來講，就是給定了一定的數(shù)據(jù)，假定知道數(shù)據(jù)是從某種分布中隨機抽取出來的，但是不知道這個分布具體的參數(shù)值，即"模型已定，參數(shù)未知"，MLE就可以用來估計模型的參數(shù)。MLE的目標是找出一組參數(shù)(模型中的參數(shù))，使得模型產出觀察數(shù)據(jù)的概率最大。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

假定盒子中有黑白兩種球，數(shù)目未知，黑白球比例也未知，現(xiàn)只知道隨機的10次有放回抽樣情況，求盒子中抽取出白球的概率：

盒子編號12345678910

1	黑	黑	黑	黑	黑	黑	黑	黑	黑	黑
2	黑	黑	白	白	黑	黑	黑	白	黑	黑
3	黑	白	黑	黑	白	黑	白	黑	白	白
4	白	黑	白	白	黑	白	黑	白	白	白
5	白	白	白	白	白	白	白	白	白	白

MLE求解過程：

編寫似然函數(shù)(即聯(lián)合概率函數(shù))（似然函數(shù)：在樣本固定的情況下，樣本出現(xiàn)的概率與參數(shù)θ之間的函數(shù)）；

對似然函數(shù)取對數(shù)，并整理；(一般都進行)

求導數(shù)；

解似然方程

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

上述例子解法

盒子中只有黑球和白球，假定白球的比例為p，那么黑球的比例為1-p。因為采取的是有放回的隨機抽取，那么每次抽取出來的球的顏色服從同一獨立分布情況，即每次抽取之間是獨立互不影響的。

最大后驗概率估計 MAP

最大后驗概率估計（Maximum A Posteriori Estimation，MAP）和MLE一樣，都是通過樣本估計參數(shù) θ 的值。在MLE中，是使似然函數(shù)P(x∣θ)最大的時候參數(shù)θ 的值，MLE中假設先驗概率是等值的。而在MAP中，則是求 θ 使P(x∣θ)P(θ) 的值最大，這也就是要求θ值不僅僅是讓似然函數(shù)最大，同時要求 θ 本身出現(xiàn)的先驗概率也得比較大。可以認為MAP是貝葉斯算法的一種應用。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

總結

以上是生活随笔為你收集整理的机器学习之最大似然估计（MLE）和最大后验概率估计（MAP）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。