UA MATH564 概率論VI 數理統計基礎1

• 樣本均值與樣本方差
• • 正態樣本的均值與方差的性質

樣本均值與樣本方差

樣本均值和樣本方差是經常用到的兩個統計量，大部分正態假設的統計模型均值和方差的OLS都是這兩位，所以這里單獨介紹一下。

假設$X_1,?,X_n$的總體分布為$F_X(x)$，總體均值為$\mu$，總體方差為${\sigma }^2$，則樣本均值定義為
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$
樣本均值有兩條有用的性質：

$E\bar{X}=\mu$

$Var(\bar{X})={\sigma }^2/n$

兩條性質都比較顯然，
$$\begin{gathered} E\bar{X}=E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n}\sum _{i=1}^{n}E{X}_i=\frac{1}{n}\sum _{i=1}^n\mu =\mu \\ Var(\bar{X})=Var\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^n{\sigma }^2=\frac{{\sigma }^2}{n} \end{gathered}$$

樣本方差的定義是
$$S^2=\frac{1}{n?1}\sum _{i=1}^n(X?\bar{X}{)}^2$$
除以$n?1$是因為這里面含有一個約束：$\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$，所以自由度是$n?1$。樣本方差是${\sigma }^2$的無偏估計。事實上統計量$\frac{1}{n}{\sum }_{i=1}^n(X?\bar{X}{)}^2$也是經常出現的，它是${\sigma }^2$的最大似然估計。為了證明無偏性，下面給出一個引理。

引理 假設$$SS(\alpha )=\sum _{i=1}^n(X_i?\alpha {)}^2$$
則$\bar{X}=\underset{\alpha }{\mathrm{argmin}}SS(\alpha )$。
證明
$$\begin{gathered} SS(\alpha )=\sum _{i=1}^n(X_i?\alpha {)}^2=\sum _{i=1}^n(X_i?\bar{X}+\bar{X}?\alpha {)}^2 \\ =\sum _{i=1}^n(X_i?\bar{X}{)}^2+2(\bar{X}?\alpha )\sum _{i=1}^n(X_i?\bar{X})+n(\bar{X}?\alpha {)}^2 \\ =SS(\bar{X})+n(\bar{X}?\alpha {)}^2\ge SS(\bar{X}) \end{gathered}$$
注意$SS(\alpha )=SS(\bar{X})+n(\bar{X}?\alpha {)}^2$比這個引理的結論更常用。

現在證明$S^2$的無偏性，根據引理
$$SS(\mu )=SS(\bar{X})?n(\bar{X}?\mu {)}^2$$
帶入到下面的計算中
$$\begin{gathered} E{S}^2=E\left(\frac{1}{n?1}\sum _{i=1}^n(X?\bar{X}{)}^2\right) \\ =\frac{1}{n?1}\left(\sum _{i=1}^{n}E(X_i?\mu {)}^2?nE(\bar{X}?\mu {)}^2\right) \\ =\frac{1}{n?1}(n{\sigma }^2?n\frac{{\sigma }^2}{n})={\sigma }^2 \end{gathered}$$

正態樣本的均值與方差的性質

假設$X_1,X_2,?,X_n{～}_{iid}N(\mu ,{\sigma }^2)$，做標準化$Z_i=\frac{X_i?\mu }{\sigma }$，則$Z_1,?,Z_n{～}_{iid}N(0,1)$。定義
$$\bar{Z}=\frac{1}{n}\sum _{i=1}^n{Z}_i,SS=\sum _{i=1}^n(Z_i?\bar{Z}{)}^2$$
以下三條性質成立：

$\bar{Z}～N(0,1/n)$

$SS～{\chi }^2(n?1)$

$\bar{Z}$與$SS$獨立

證明
第一條性質比較簡單，首先$\bar{Z}$是一個正態隨機變量；根據樣本均值的性質
$$E\bar{Z}=0,Var(\bar{Z})=\frac{1}{n}$$

第三條也比較好證，因為$?i$
$$\begin{gathered} Cov(Z_i?\bar{Z},\bar{Z})=Cov(Z_i,\bar{Z})?Var(\bar{Z}) \\ =\frac{1}{n}\sum _{j=1}^{n}Cov(Z_i,Z_j)?\frac{1}{n}=0 \end{gathered}$$
所以$\bar{Z}$與$Z_i?\bar{Z}$獨立，根據獨立性的性質，因為$SS$是$Z_i?\bar{Z}$的函數，所以$\bar{Z}$也與$SS$獨立。

再看第二條，首先用前面那個引理，
$$\begin{gathered} SS(0)=SS(\bar{Z})+n{\bar{Z}}^2 \\ SS=\sum _{i=1}^n{Z}_i^2?n{\bar{Z}}^2 \end{gathered}$$
其中${\sum }_{i=1}^n{Z}_i^2～{\chi }^2(n)$，$\sqrt{n}\bar{Z}～N(0,1)$，則$n{\bar{Z}}^2～{\chi }^2(1)$。卡方分布${\chi }_{\nu }^2$的矩母函數是
$$M_{{\chi }_{\nu }^2}(t)=(1?2t{)}^{?\nu /2}$$
這個下下講再計算，這里先用一下。根據$SS$與$\bar{Z}$的獨立性，
$$\begin{gathered} M_{SS}(t)M_{n\bar{Z}}(t)=M_{{\sum }_{i=1}^n{Z}_i^2}(t) \\ {M}_{SS}(t)(1?2t{)}^{?1/2}=(1?2t{)}^{?n/2} \\ {M}_{SS}(t)=(1?2t{)}^{?(n?1)/2} \end{gathered}$$
因此$SS～{\chi }^2(n?1)$。

總結

以上是生活随笔為你收集整理的UA MATH564 概率论VI 数理统计基础1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。