平方的观测值表概率_茆诗松的概率论与数理统计（第六章）
本章干貨十足：
本章的主題是參數(shù)估計(jì)，分為兩種方法：一是點(diǎn)估計(jì)，二是區(qū)間估計(jì)。其中“點(diǎn)估計(jì)”的方法包括：矩估計(jì)、極大似然估計(jì)以及貝葉斯估計(jì)等，占據(jù)了較多篇幅。其實(shí)除了估計(jì)方法，更重要的是理解估計(jì)量的性質(zhì)，例如：無偏性、有效性、相合性、漸近正態(tài)性等。書中把估計(jì)的方法和性質(zhì)結(jié)合起來講，我準(zhǔn)備把估計(jì)量的性質(zhì)單獨(dú)拿出來講，以便比較各種性質(zhì)之間的差異。
一、估計(jì)及其性質(zhì)
“估計(jì)”在中文里既可以作名詞，也可以作動(dòng)詞。用英文的話，可以表示成不同的單詞：
estimate：所謂的“估計(jì)”（動(dòng)詞）就是根據(jù)樣本預(yù)測總體分布中的未知參數(shù)。例如，已知總體服從正態(tài)分布
，但總體均值 未知，我們通過某個(gè)函數(shù)“估計(jì)”總體均值， 。estimator：“估計(jì)量”（名詞）
實(shí)際上是一個(gè)統(tǒng)計(jì)量，它是通過一個(gè)不含未知參數(shù)的樣本函數(shù)計(jì)算出來的結(jié)果。一般使用 表示總體的參數(shù)， 表示參數(shù)的估計(jì)量。estimation：“估計(jì)法”（名詞）表示尋找函數(shù)
的過程，可以理解為一種估計(jì)方法。例如：Maximum Likelihood Estimation，最大似然估計(jì)法。隨著樣本不同，同一估計(jì)法得到的結(jié)果可能是不一樣的，因此“估計(jì)量”也是一個(gè)隨機(jī)變量。對(duì)于同一個(gè)參數(shù)，有不同的估計(jì)方法，而且看起來都是合理的。如何比較它們的優(yōu)劣呢？
（1）均方誤差 MSE Mean Square Error
評(píng)價(jià)一個(gè)估計(jì)量的好壞，很自然地會(huì)想到：衡量“估計(jì)量”與“真實(shí)值”之間的距離，距離越小表示估計(jì)量的性能越好。也就是所謂的“均方誤差”函數(shù)：
也就是距離平方的期望值，如果將其進(jìn)一步展開：注意：
和 均為數(shù)值， 表示參數(shù)的真實(shí)值， 表示估計(jì)量的數(shù)學(xué)期望。由此看見，均方誤差由兩部分組成：一是估計(jì)量的方差（Variances） ，即
；二是估計(jì)量的系統(tǒng)偏差（Bias）的平方，即 。從“馬同學(xué)”處借來此圖，它可以幫助理解“方差”與“偏差”：
備注：靶心表示“真實(shí)值”，紅叉表示“估計(jì)值”“方差”衡量估計(jì)值的分散程度，“偏差”衡量估計(jì)值的期望與真實(shí)值的距離。
左上圖：估計(jì)值落在靶心四周，此時(shí)“方差”較大但“偏差”較小；
右上圖：估計(jì)值落在靶心鄰近，此時(shí)“方差”、“偏差”均較小；
左下圖：估計(jì)值離靶心較遠(yuǎn)，呈分散狀，此時(shí)“方差”、“偏差”均較大；
右下圖：估計(jì)值離靶心較遠(yuǎn)，落點(diǎn)集中，此時(shí)“偏差”較大但“方差”較小。
（2）無偏性
有了前面的鋪墊，無偏性就很好理解，表示估計(jì)量“偏差”一項(xiàng)為0，即沒有系統(tǒng)性的偏差。以一把秤為例，產(chǎn)生誤差的原因有二：一是稱本身結(jié)構(gòu)有問題，測量的結(jié)果總是偏高或偏低，這屬于系統(tǒng)性誤差；二是由于操作上或其他隨機(jī)因素，導(dǎo)致測量的結(jié)果有時(shí)偏大，有時(shí)偏小，把這些誤差平均起來結(jié)果為0。前者是“偏差”項(xiàng)，后者是“方差”項(xiàng)。
若
，則稱 為 的“無偏估計(jì)”。無偏性的特點(diǎn)：
（3）有效性
對(duì)于同一參數(shù)可能存在多個(gè)無偏估計(jì)，又該如何選擇呢？根據(jù)MSE的定義，當(dāng)兩個(gè)估計(jì)量都具有無偏性時(shí)，它們的誤差完全由“方差”一項(xiàng)決定，即
此時(shí)當(dāng)然是“方差”越小越好，即越“有效”。
值得注意的是：比較“有效性”的前提條件是估計(jì)量具有“無偏性”。
一個(gè)重要的定義：
設(shè)
為 的無偏估計(jì)，如果對(duì)另外任意一個(gè) 的無偏估計(jì) ，在參數(shù)空間上都有則稱
為 的“一致最小方差無偏估計(jì)”，記作UMVUE （Uniform Minimum Variance Unbiased Estimator），也簡單記作MVU估計(jì)。UMVUE是書中的重點(diǎn)內(nèi)容，用了整一節(jié)展開論述。除了它的定義，書中還介紹了若干UMVUE的判別方法：
（4）相合性和漸近正態(tài)性
根據(jù)格里紋科定理，隨著樣本數(shù)量不斷增大，經(jīng)驗(yàn)分布函數(shù)逼近真實(shí)分布函數(shù)，估計(jì)量與真實(shí)值逐漸重合。它的定義如下：
設(shè)
是未知參數(shù) 的一個(gè)估計(jì)量，n是樣本容量，若對(duì)于任意 ，有 ，則稱 為參數(shù) 的“相合估計(jì)”。相合性是一個(gè)估計(jì)量的最基本要求，如果不具備相合性，無論樣本數(shù)量多大，也不能把估計(jì)結(jié)果提升至預(yù)定的精度，這樣的估計(jì)量就沒有存在的價(jià)值了。
所謂“漸近正態(tài)性”，不但給出估計(jì)結(jié)果，也給出了估計(jì)量的分布。其定義如下：
設(shè)
是未知參數(shù) 的相合估計(jì)量，若存在趨于0的非負(fù)常數(shù)序列 ，使得 收斂于標(biāo)準(zhǔn)正態(tài)分布，則稱設(shè) 服從“漸近正態(tài)分布”，記作 。對(duì)比“相合性”和“漸近正態(tài)性”，類似于“大數(shù)定律”與“中心極限定理”的關(guān)系。
它們的特點(diǎn)：
相合性的判別方法：
（5）小結(jié)
陳希孺的書對(duì)于估計(jì)量的各種性質(zhì)（稱為“點(diǎn)估計(jì)的優(yōu)良性準(zhǔn)則”）進(jìn)行了集中而深入的討論，他認(rèn)為：“每種準(zhǔn)則在某種情況下都有其局限性”，要結(jié)合實(shí)際問題考慮是否取用某一準(zhǔn)則。以無偏性為例：對(duì)于商店里面的秤，具有無偏性很重要，因?yàn)檫@對(duì)商家、顧客都是公平的。盡管某一次交易存在多給或少給，但長期來看雙方都不吃虧。但對(duì)于另一種情況：實(shí)驗(yàn)室估計(jì)生成原料中某種成分的含量p，無論是高估還是低估，都會(huì)有損產(chǎn)品質(zhì)量。因?yàn)楣烙?jì)的正、負(fù)偏差并不能抵消， 此時(shí)無偏性就不那么重要了。又比如茆詩松書中的例6.4.1，從MSE的角度來看，某些無偏估計(jì)的性能還不如有偏估計(jì)。
四個(gè)性質(zhì)里面，無偏性與相合性為主要性質(zhì)，有效性與漸近正態(tài)性是在前兩個(gè)性質(zhì)基礎(chǔ)上衍生的性質(zhì)。
二、點(diǎn)估計(jì)方法
（1）矩估計(jì)
矩估計(jì)（替換原理）可以歸結(jié)為：
- 用樣本矩去替代總體矩（原點(diǎn)矩、中心矩均可）
- 用樣本矩的函數(shù)替代相應(yīng)的總體矩的函數(shù)
- 盡量采用低階矩估計(jì)未知參數(shù)
我們回顧一下樣本矩與總體矩的定義：
- k階總體矩：
- k階樣本矩：
無偏性討論：
容易證明，用樣本矩替代總體矩具有無偏性：
但除非是線性函數(shù)，否則用樣本矩的函數(shù)替代相應(yīng)總體矩的函數(shù)不具有無偏性：
線性函數(shù)：
非線性函數(shù)：
與 存在差異。相合性討論：
根據(jù)相合性判別法則1（上節(jié)）：
顯然成立（前面以證明即使n有限時(shí)也成立）。 ，因此 是 的相合估計(jì)。根據(jù)相合性判別法則2：
既然
是 的相合估計(jì)，只要 為連續(xù)函數(shù)，則可證明 是 的相合估計(jì)。（2）最大似然估計(jì)
在總體分布類型已知的情況下，常用最大似然估計(jì)法求未知參數(shù)。
似然函數(shù)
離散總體
連續(xù)總體
若用概率函數(shù)（即可表示分布列，也可表示密度函數(shù)）
表示 ，則似然函數(shù)為注意函數(shù)里面的分號(hào)“；”，分號(hào)前面的是樣本變量，分號(hào)后面是待定參數(shù)。參數(shù)估計(jì)時(shí)，我們根據(jù)抽樣結(jié)果（樣本觀測值），推斷待定參數(shù)的值。因此
可以看作已知數(shù)， 只是參數(shù) 的函數(shù)。似然函數(shù)的含義：樣本
等n個(gè)事件獨(dú)立同時(shí)發(fā)生的概率，即 ，而且這個(gè)概率是在參數(shù)為 的情況下發(fā)生的。在參數(shù)空間
里面，找到使得似然函數(shù) 取得最大值的參數(shù) 。即
，則稱 是 的”最大似然估計(jì)“。求解步驟
注意：參數(shù)
即可表示單個(gè)參數(shù)，又可表示多個(gè)參數(shù)構(gòu)成的向量。第一步：寫出似然函數(shù)
第二步：利用對(duì)數(shù)函數(shù)單調(diào)性，轉(zhuǎn)換為對(duì)數(shù)似然函數(shù)
第三步：求導(dǎo)數(shù)使得一階導(dǎo)數(shù)為0，二階導(dǎo)數(shù)為負(fù)
特殊情況：當(dāng)似然函數(shù)為單調(diào)函數(shù)，見例6.3.5
樣本來自均勻分布
，似然函數(shù)為 。注意
為示性函數(shù)，當(dāng) 位于 范圍內(nèi)時(shí)， ，否則 。為了使似然函數(shù)更大，必須所有的
（否則似然函數(shù)為0），即 。在此范圍內(nèi)尋找似然函數(shù)
的最大值，因此有 。相關(guān)性質(zhì)：
由于”最大似然估計(jì)法“得到的結(jié)果（估計(jì)量）為一個(gè)含有未知參數(shù)的代數(shù)方程，不一定有顯式解，因此研究它的無偏性、相合性比較困難。
因此書中直接給出結(jié)論：
EM算法
書中舉了一個(gè)例子6.3.7，演示EM算法的基本步驟，但例子并不典型，即使不使用EM算法也能求解。
非EM解法：
依題意得對(duì)數(shù)似然函數(shù)
若一階導(dǎo)數(shù)為0，可得下列三次方程：
求解高次方程的辦法很多，最簡單的是用wolframalpha
得到3個(gè)數(shù)值解： -0.429，0.6067，1.325 。依題意，參數(shù)的取值范圍在(0,1)之間，立刻可以排除其中2個(gè)，因此0.6067為參數(shù)估計(jì)量。
EM解法：
2. E步，根據(jù)樣本及參數(shù)估算值，基于完全數(shù)據(jù)求對(duì)數(shù)似然函數(shù)的期望
首先，當(dāng)y和
已知，z的數(shù)學(xué)期望為此時(shí)，基于完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)期望為
注意
為待定參數(shù)， 為已知的估算值。3. M步，通過迭代法求參數(shù)，對(duì)
求一階導(dǎo)數(shù)，建立參數(shù)迭代公式。整理后得到
的迭代式，然后迭代求解。關(guān)于EM例子的一點(diǎn)思考：
書中的例子，注重EM算法步驟的講解，但忽略了與實(shí)際問題的聯(lián)系。為什么要用EM算法？它能解決哪些特殊的問題？什么是中間變量z，它有什么含義呢？
”雙硬幣模型“
假設(shè)袋子里有A、B兩種硬幣，已知它們擲出正面的概率不一樣。隨機(jī)抽出一枚，連續(xù)投擲10次，把試驗(yàn)結(jié)果記錄下來。然后再隨機(jī)抽出一枚，連續(xù)投擲10次，如此重復(fù)5輪。
求：硬幣A擲出正面的概率
？硬幣B擲出正面的概率？假如已知每輪試驗(yàn)抽到是硬幣A還是B，問題變得非常簡單，很容易列出最大似然函數(shù)：
n1: 硬幣A為正面的次數(shù)，n2：硬幣A為反面的次數(shù)，n3：硬幣B為正面的次數(shù)，n4：硬幣B為反面的次數(shù)。
遺憾的是，由于不知道每輪抽出的是A還是B，因此n1,n2,n3,n4未知，在缺少它們的情況下，最大似然估計(jì)無法進(jìn)行。
EM算法解決”雙硬幣“問題的思路：
第一步：假設(shè)兩種硬幣擲出正面的概率為
第二步：既然問題的關(guān)鍵在于每輪抽出的是A還是B，而這個(gè)參數(shù)的隱藏的，不妨先對(duì)它進(jìn)行估算。這一步稱為Expectation。
已知第i輪出現(xiàn)正面的次數(shù)為
，其中 。可計(jì)算出第 i 輪抽出硬幣A的概率 ，抽出硬幣B的概率注意推導(dǎo)過程，靈活運(yùn)用貝葉斯公式：
從而估算出第 i 輪抽出A的概率為
，B的概率為第三步：基于對(duì)隱藏參數(shù)（本輪是A還是B）的預(yù)測，通過最大似然法修正概率
和 ，這一步稱為Maximization。迭代計(jì)算直至收斂。
篇幅所限，關(guān)于EM算法及雙硬幣模型的內(nèi)容詳見
August：人人都懂EM算法?zhuanlan.zhihu.com（3）貝葉斯估計(jì)
最大似然估計(jì)法基于兩方面信息對(duì)未知參數(shù)進(jìn)行估計(jì)，一是總體信息，如總體屬于何種分布；二是樣本信息，即抽樣得到的觀測值。而貝葉斯估計(jì)在前兩者的基礎(chǔ)上，增加一項(xiàng)：先驗(yàn)信息，即未知參數(shù)的先驗(yàn)分布。
先驗(yàn)分布與后驗(yàn)分布
最大似然估計(jì)把總體依賴于參數(shù)的密度函數(shù)記為
，而貝葉斯估計(jì)則記為 ，其中X表示包含多個(gè)樣本的向量。假設(shè)參數(shù)
服從先驗(yàn)分布 ，貝葉斯估計(jì)的目的：求在樣本信息的條件下，參數(shù)的后驗(yàn)分布 。從一個(gè)條件分布出發(fā)，求另一個(gè)條件分布，可以使用貝葉斯公式：
注意：無需對(duì)括號(hào)前面的
等感到困擾，它們都表示括號(hào)里發(fā)生的概率。可以把它們?nèi)繐Q成p，就得到熟悉的貝葉斯公式。共軛先驗(yàn)分布
書中介紹“共軛先驗(yàn)分布”是確定先驗(yàn)分布的常用方法。
在茆詩松的《貝葉斯統(tǒng)計(jì)》中有較完整的介紹，其中很重要的一點(diǎn)是：共軛先驗(yàn)分布是對(duì)某一分布中的參數(shù)而言的，離開指定參數(shù)及其分布去談共軛先驗(yàn)分布是沒有意義的。
因此，它可以看作一系列經(jīng)驗(yàn)總結(jié)，但不能隨意推廣。
三、區(qū)間估計(jì)
參數(shù)的點(diǎn)估計(jì)給出一個(gè)具體的數(shù)值，而區(qū)間估計(jì)給出參數(shù)的一個(gè)區(qū)間范圍。
（1）分位數(shù)
復(fù)習(xí)一下分位數(shù)的概念，本書使用的p分位數(shù)，是指下側(cè)p分位數(shù)。也就是說，密度函數(shù)從負(fù)無窮到分位點(diǎn)
的積分結(jié)果為p。下圖顯示了兩種分位數(shù)的區(qū)別：書中常見的一些分位點(diǎn)，它們都表示位于x軸上的一個(gè)實(shí)數(shù)：
表示位于此點(diǎn)右側(cè)的概率為 ，它的分布為對(duì)稱分布 ，而位于 左側(cè)的概率也為 ； 表示位于此點(diǎn)左側(cè)的概率為 ，它的分布為非對(duì)稱的卡方分布，而位于 右側(cè)的概率也為 。（2）置信區(qū)間與置信水平
置信區(qū)間
表示參數(shù)的區(qū)間范圍，置信水平 表示參數(shù)位于置信區(qū)間的可能性，常見的概念有：- 置信區(qū)間：
- 同等置信區(qū)間：
- 單側(cè)置信下限：
- 同等置信下限：
- 單側(cè)置信上限：
- 同等置信上限：
等尾置信區(qū)間：
，表示置信區(qū)間以外，左右兩側(cè)的概率都為 。此時(shí) 為 同等置信區(qū)間。一般來說，
, ，稱為0.95或95%置信區(qū)間。（3）樞軸量法
所謂“樞軸量”是一個(gè)樣本和參數(shù)的函數(shù)，記作
。它本身是符合某種已知分布的（標(biāo)準(zhǔn)正態(tài)分布或三大抽樣分布），從而將“待定參數(shù)” 的分布與已知抽樣分布聯(lián)系起來，達(dá)到參數(shù)估計(jì)的目的。在上一章末尾整理了正態(tài)總體與其他分布聯(lián)系的8個(gè)公式，就是構(gòu)造樞軸量的有力工具。
樞軸量法三步：
樞軸量法題型列表：
其中
（4）大樣本置信區(qū)間
當(dāng)樞軸量難以確定，但樣本量充分大的時(shí)候，可以利用漸進(jìn)分布構(gòu)造置信區(qū)間。例如用正態(tài)分布近似二項(xiàng)分布。
（5）樣本量的確定
一般來說，樣本量越大，估計(jì)的精度越高。但更多的樣本意味著更多的時(shí)間、人力、物力等成本，因此根據(jù)估計(jì)精度反推所需的樣本數(shù)量（樣本量的確定）是個(gè)常見的問題。
總結(jié)
以上是生活随笔為你收集整理的平方的观测值表概率_茆诗松的概率论与数理统计（第六章）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 自动设置图片的序号_word表格技巧：如
- 下一篇： 抓球球的机器人应该怎么玩_闲鱼2019年