UA MATH571A 一元線性回歸II 統計推斷2

• ${\beta }_0$的分布
• 擬合與預測
• • 擬合值的區間估計
  • 預測值的區間估計
• 數值例子：女性肌肉量與年齡的關系

${\beta }_0$的分布

將${\beta }_0$關于$Y_i$的線性組合進一步展開
$$\begin{gathered} {\hat{\beta }}_0=\sum _{i=1}^N(\frac{1}{N}?k_i\bar{X})Y_i=\sum _{i=1}^N(\frac{1}{N}?k_i\bar{X})({\beta }_0+{\beta }_1{X}_i+{?}_i) \\ ={\beta }_0+{\beta }_1\bar{X}+\frac{1}{N}\sum _{i=1}^N{?}_i?{\beta }_0\bar{X}\sum _{i=1}^N{k}_i?{\beta }_1\bar{X}\sum _{i=1}^N{k}_i{X}_i?\bar{X}\sum _{i=1}^N{k}_i{?}_i \\ ={\beta }_0+\sum _{i=1}^N(\frac{1}{N}?k_i\bar{X}){?}_i \end{gathered}$$

因此
$$\begin{gathered} {\hat{\beta }}_0={\beta }_0+\sum _{i=1}^N(\frac{1}{N}?k_i\bar{X}){?}_i \\ E({\hat{\beta }}_0)={\beta }_0 \\ Var({\hat{\beta }}_0)={\sigma }^2\sum _{i=1}^N(\frac{1}{N}?k_i\bar{X}{)}^2={\sigma }^2\sum _{i=1}^N(\frac{1}{N^2}?2k_i\bar{X}/N+k_i^2{\bar{X}}^2)={\sigma }^2(\frac{1}{N}+\sum _{i=1}^N{k}_i^2{\bar{X}}^2) \\ {\hat{\beta }}_0～N({\beta }_0,{\sigma }^2(\frac{1}{N}+\sum _{i=1}^N{k}_i^2{\bar{X}}^2)) \end{gathered}$$
知道${\hat{\beta }}_0$的分布后，可以像對${\hat{\beta }}_1$做統計推斷那樣，對${\hat{\beta }}_0$進行推斷。

擬合與預測

擬合與預測是一元線性回歸另外兩個常用的功能。擬合指的是變量X的值$X_h$對應的變量Y的估計值：
$${\hat{Y}}_h={\hat{\beta }}_0+{\hat{\beta }}_1{X}_h$$
其中$X_h$是樣本范圍內的值。比如在之前的例子中，女性肌肉量與年齡的數據來源于40-79歲的女性群體，變量X的采樣范圍就是40-79歲。預測指的是對樣本以外的變量X的值$X_h$，計算變量Y的估計值。比如根據女性肌肉量與年齡的回歸關系，計算80歲女性個體平均肌肉量，80歲不在樣本內，所以這是預測。

擬合值的區間估計

與系數的估計量類似，${\hat{Y}}_h$也是一個隨機變量，所以根據模型與輸入$X_h$算出來的擬合值只是對${\hat{Y}}_h$的一個觀測。${\hat{Y}}_h$服從正態分布，
$$\begin{gathered} E({\hat{Y}}_h)=E({\hat{\beta }}_0+{\hat{\beta }}_1{X}_h)={\beta }_0+{\beta }_1{X}_h=Y_h \\ Var({\hat{Y}}_h)=Var({\hat{\beta }}_0+{\hat{\beta }}_1{X}_h)={\sigma }^2(\frac{1}{N}+\frac{(X_h?\bar{X}{)}^2}{{\sum }_{i=1}^N(X_i?\bar{X}{)}^2}) \end{gathered}$$
所以方差的無偏估計為
$$\begin{gathered} s^2\{{\hat{Y}}_h\}=MSE(\frac{1}{N}+\frac{(X_h?\bar{X}{)}^2}{{\sum }_{i=1}^N(X_i?\bar{X}{)}^2}) \\ t=\frac{{\hat{Y}}_h?Y_h}{se\{{\hat{Y}}_h\}}=\frac{{\hat{Y}}_h?Y_h}{\sqrt{MSE(\frac{1}{N}+\frac{(X_h?\bar{X}{)}^2}{{\sum }_{i=1}^N(X_i?\bar{X}{)}^2})}}～t(N?2) \end{gathered}$$
根據該分布可以給出下面的關系式，其中$1?\alpha$是置信水平
$$1?\alpha =P(t(\frac{\alpha }{2},N?2)<t<t(1?\frac{\alpha }{2},N?2))$$
據此可以得到擬合值置信水平為$1?\alpha$的置信區間
$${\hat{Y}}_h?se(se\{{\hat{Y}}_h\})t(1?\frac{\alpha }{2},N?2)<Y_h<{\hat{Y}}_h+se(se\{{\hat{Y}}_h\})t(1?\frac{\alpha }{2},N?2)$$

預測值的區間估計

當$X_h$是采樣范圍的新的觀測值時，預測值
$${\hat{Y}}_h={\hat{\beta }}_0+{\hat{\beta }}_1{X}_h$$
同樣可以構造t分布
$$t=\frac{{\hat{Y}}_h?Y_h}{se\{{\hat{Y}}_h?Y_h\}}～t(N?2)$$
此時$Y_h$要當成是一個隨機變量，$Var(Y_h)={\sigma }^2$，
$$\begin{gathered} Var({\hat{Y}}_h?Y_h)=Var({\hat{Y}}_h)+Var(Y_h)={\sigma }^2(1+\frac{1}{N}+\frac{(X_h?\bar{X}{)}^2}{{\sum }_{i=1}^N(X_i?\bar{X}{)}^2}) \\ t=\frac{{\hat{Y}}_h?Y_h}{se\{{\hat{Y}}_h?Y_h\}}=\frac{{\hat{Y}}_h?Y_h}{\sqrt{MSE(1+\frac{1}{N}+\frac{(X_h?\bar{X}{)}^2}{{\sum }_{i=1}^N(X_i?\bar{X}{)}^2})}}～t(N?2) \end{gathered}$$
所以預測值置信水平為$1?\alpha$的置信區間
$${\hat{Y}}_h?se(se\{{\hat{Y}}_h?Y_h\})t(1?\frac{\alpha }{2},N?2)<Y_h<{\hat{Y}}_h+se(se\{{\hat{Y}}_h?Y_h\})t(1?\frac{\alpha }{2},N?2)$$

數值例子：女性肌肉量與年齡的關系

上一篇我們已經建立了女性肌肉量與年齡的一元線性回歸模型
$$Y_i={\beta }_0+{\beta }_1{X}_i+{?}_i$$
其中$Y_i$表示女性個體的肌肉量，$X_i$表示女性個體的年齡。現在我們按假設檢驗的思路對女性個體肌肉量會隨著年齡增長而減少的猜想進行驗證。
$$\begin{gathered} H_0:{\beta }_1\ge 0 \\ {H}_a:{\beta }_1<0 \end{gathered}$$
原假設的含義是女性個體的肌肉量會隨著年齡增長而變多或是保持不變，備擇假設的含義是女性個體的肌肉量會隨著年齡增長變少。從summary()的結果中讀取統計量$t^{?}=\frac{{\hat{\beta }}_1}{se(\widehat{{\beta }_1})}$的值：

紅框內的結果是$se(\widehat{{\beta }_1})$，黃框中的結果是$t^{?}$，單邊檢驗中$t^{?}$需要和$t(1?\frac{\alpha }{2},N?2)$比較，假設檢驗水平為1%

> -qt(1-(.01/2),58) [1] -2.663287

顯然$t^{?}<?2.663287$，拒絕原假設，接受備擇假設：女性個體的肌肉量會隨著年齡增長變少。藍框中的值并非是這個檢驗的p值，而是雙邊檢驗的p值。可以根據上面敘述的結論計算該檢驗的p值

> pt(-13.19,58) [1] 2.084381e-19

灰框中是${\beta }_0$相關的量，可以用來對${\beta }_0$的推斷。如果要估計40歲女性肌肉量的95%置信區間，可以采用下面的方法

> predict(Ex1.lm,newdata=data.frame(X=40),interval="conf",level=.95)fit lwr upr [1] 108.7467 104.566 112.9275

結果說明40歲女性的平均肌肉量是108.7467（我也不知道單位是啥。。。），95%的置信區間是[104.566,112.9275]說明如果有大量樣本的話可以觀察到95%的四十歲女性肌肉量都在這個區間內。如果要估計80歲女性肌肉量的95%置信區間，同樣應該使用predict()函數，但interval要改為predict

> predict(Ex1.lm,newdata=data.frame(X=80),interval="pred",level=.9)fit lwr upr 1 61.14692 47.04494 75.24891

結果說明80歲女性的平均肌肉量是61.14692，95%的置信區間是[47.04494,75.24891]。

總結

以上是生活随笔為你收集整理的UA MATH571A 一元线性回归II 统计推断2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。