UA MATH571B 試驗設計III 單因素試驗設計

• 單因素ANOVA
• • 模型設定與假設
  • ANOVA F檢驗

單因素ANOVA

方差分析（Analysis of Variance，ANOVA）是兩樣本均值的檢驗的擴展，其作用在于同時比較多組樣本的均值。最基礎最簡單的ANOVA是單因素ANOVA，這一講會介紹這個模型是什么，有什么用，以及使用這個模型需要的假設、如何驗證這些假設是否成立、不成立的話要怎么處理，之后所有的試驗設計模型都按這個套路來介紹。回到第一篇博客的例子，要研究二氧化碳濃度對天竺葵光合作用強度的影響，設置對照組（Control Group）二氧化碳濃度是410ppm，實驗組（Treatment Group）的二氧化碳濃度是400ppm、420ppm。假設對照組葉片累積的淀粉量均值為${\mu }_1$，實驗組累積的淀粉量為${\mu }_2$和${\mu }_3$，關于二氧化碳濃度是否影響天竺葵光合作用強度的假設檢驗可以寫成
$$H_0:{\mu }_1={\mu }_2={\mu }_3$$
要兩兩比較的話需要$C_3^2$次比較，設置$n?1$個實驗組就需要做$C_n^2$次比較，因此兩兩比較的效率非常低，我們需要一種能同時處理多組樣本均值的假設檢驗方法。

模型設定與假設

對于有$a$組樣本均值的假設檢驗問題，可以將兩樣本均值假設檢驗的DGP推廣為
$$\begin{gathered} y_{ij}={\mu }_i+{?}_{ij},{?}_{ij}{～}_{iid}N(0,{\sigma }^2) \\ i=1,2,?,a;j=1,2,?,n \end{gathered}$$
其中${\mu }_i$是第$i$個level的組內平均或者treatment mean，${?}_{ij}$是試驗誤差，這個模型叫做均值模型（mean model）。另外一種等價的寫法是
$$\begin{gathered} y_{ij}=\mu +{\tau }_i+{?}_{ij},{?}_{ij}{～}_{iid}N(0,{\sigma }^2) \\ i=1,2,?,a;j=1,2,?,n \end{gathered}$$
其中$\mu$是總體均值（grand mean），${\tau }_i$是第$i$種factor level的treatment effect，${\mu }_i=\mu +{\tau }_i$，這個模型叫效應模型（effect model）。這里想研究的是單個treatment factor的不同level對response的影響，所以這個模型叫單因素ANOVA（one-way ANOVA）。假設只研究給定的這些factor level，那么這個模型叫固定效應模型（fixed effect model）；如果這些factor level視為是factor level總體的一組隨機樣本，則treatment effect就是隨機的，這種模型叫隨機效應模型（random effect model）。本講只研究固定效應模型。ANOVA模型最終想做的檢驗是
$$H_0:{\mu }_1={\mu }_2=?={\mu }_a$$
也可以寫成
$$H_0:{\tau }_1={\tau }_2=?={\tau }_a$$
先定義幾個符號
$$\begin{gathered} y_{i.}=\sum _{j=1}^n{y}_{ij},{\bar{y}}_{i.}=\frac{y_{i.}}{n} \\ {y}_{..}=\sum _{i=1}^a{y}_{i.},{\bar{y}}_{..}=\frac{y_{..}}{a} \end{gathered}$$
要構造這個檢驗需要先估計這個模型，固定效應模型可以用最小二乘法來估計
$$L=\sum _{i=1}^a\sum _{j=1}^n(y_{ij}?\hat{\mu }?{\hat{\tau }}_i{)}^2$$
分別對$\hat{\mu }$與${\hat{\tau }}_i$求偏導，并令其為零可得：
$$\begin{gathered} ?2\sum _{i=1}^a\sum _{j=1}^n(y_{ij}?\hat{\mu }?{\hat{\tau }}_i)=0?an\hat{\mu }+\sum _{i=1}^a{\hat{\tau }}_i=y_{..} \\ ?2\sum _{j=1}^n(y_{ij}+\hat{\mu }?{\hat{\tau }}_i)=0?n\hat{\mu }+n{\hat{\tau }}_i=y_{i.},i=1,?,a \end{gathered}$$
注意到后$a$個方程加起來就是第一個方程，因此這其實是一個超靜定的線性系統(tǒng)。這是由于從兩樣本到多樣本的自然推廣其實是均值模型，均值模型恰好能讓方程數目與未知參數數目一致，而效應模型與均值模型相比多了一個參數，所以方程數就少了一個。對均值模型用最小二乘估計，簡單計算一下就知道
$$n{\hat{\mu }}_i=y_{i.}?n\hat{\mu }+n{\hat{\tau }}_i=y_{i.},i=1,?,a$$
所以明顯均值模型正好存在唯一的估計。為了估計效應模型，最常見的做法是增加一個約束
$$\sum _{i=1}^a{\hat{\tau }}_i=0$$
增加這個約束后，$\hat{\mu }=y_{..}/an$正好是總體樣本均值，而${\tau }_i$的含義也可以解讀為因為第$i$種treatment factor level，導致的treatment mean相對grand mean的偏離程度，正好可以用來衡量treatment的作用，所以增加這個約束是合理的。那么在有了這個約束的前提下，效應模型的參數最小二乘估計為
$$\hat{\mu }=\frac{y_{..}}{an}={\bar{y}}_{..},{\hat{\tau }}_i=\frac{y_{i.}}{n}?\frac{y_{..}}{an}={\bar{y}}_{i.}?{\bar{y}}_{..}$$
殘差的估計量為
$$e_{ij}=y_{ij}?{\bar{y}}_{i.}$$
在最小二乘估計的基礎上，可以用廣義線性檢驗方法完成ANOVA檢驗，具體參考回歸那個系列。

ANOVA F檢驗

Response數據中的信息含量可以用總平方和表示
$$SST=\sum _{i=1}^a\sum _{j=1}^n(y_{ij}?{\bar{y}}_{..}{)}^2$$
現在考慮對總平方和做分解
$$\begin{gathered} SST=\sum _{i=1}^a\sum _{j=1}^n(y_{ij}?{\bar{y}}_{i.}+{\bar{y}}_{i.}?{\bar{y}}_{..}{)}^2 \\ =\sum _{i=1}^a\sum _{j=1}^n(y_{ij}?{\bar{y}}_{i.}{)}^2+\sum _{i=1}^a\sum _{j=1}^n({\bar{y}}_{i.}?{\bar{y}}_{..}{)}^2+\sum _{i=1}^a\sum _{j=1}^n({\bar{y}}_{i.}?{\bar{y}}_{..})(y_{ij}?{\bar{y}}_{i.}) \\ =\sum _{i=1}^a\sum _{j=1}^n{e}_{ij}^2+n\sum _{i=1}^a{\hat{\tau }}_i^2+0 \end{gathered}$$
其中第一項是殘差平方和（SSE），第二項是試驗平方和（SS of Treatment）記為SSM，第三項為零，因為
$$\begin{gathered} \sum _{i=1}^a\sum _{j=1}^n({\bar{y}}_{i.}?{\bar{y}}_{..})(y_{ij}?{\bar{y}}_{i.})=\sum _{i=1}^a({\bar{y}}_{i.}?{\bar{y}}_{..})(\sum _{j=1}^n(y_{ij}?{\bar{y}}_{i.})) \\ \sum _{j=1}^n(y_{ij}?{\bar{y}}_{i.})=n{\bar{y}}_{i.}?n{\bar{y}}_{i.}=0 \end{gathered}$$
因此總平方和可以分解為
$$SST=SSM+SSE$$
現在研究這個分解的分布特征。定義$N=an$為總樣本數。首先考慮，每一組的樣本方差為
$$S_i^2=\frac{{\sum }_{j=1}^n(y_{ij}?{\bar{y}}_{i.}{)}^2}{n?1}$$
考慮每一組樣本方差的平均
$$\frac{(n?1)S_1^2+?+(n?1)S_a^2}{(n?1)+?+(n?1)}=\frac{{\sum }_{i=1}^a{\sum }_{j=1}^n(y_{ij}?{\bar{y}}_{i.}{)}^2}{N?a}=\frac{SSE}{N?a}$$
因為殘差獨立同方差，因此上式是方差的無偏估計，也就是說
$$E\left[\frac{SSE}{N?a}\right]={\sigma }^2$$
這個證明比較直接，就是把$SSE$仔細展開求期望就好。定義$MSE=SSE/d{f}_E$，$d{f}_E$是其對應的自由度。類似地可以定義$MSM=SSM/d{f}_M$，$d{f}_M=a?1$是其對應的自由度，
$$E[MSM]={\sigma }^2+\frac{n{\sum }_{i=1}^a{\tau }_i^2}{a?1}$$
當ANOVA檢驗的原假設成立時，顯然$MSM$也是方差的無偏估計。根據Cochran定理（參考概率論那個系列的文章），可以構造統(tǒng)計量
$$F_0=\frac{SSM/a?1}{SSE/N?a}=\frac{MSM}{SSE}～F(a?1,N?a)$$
由此可以對原假設做ANOVA F檢驗。ANOVA Table可以表示為

來源SSdfMSF

試驗	$SSM$	a-1	$MSM=\frac{SSM}{d{f}_M}$	$F_0=MSM/MSE$
殘差	$SSE$	N-a	$MSE=\frac{SSE}{d{f}_E}$
總平方和	$SST$	N-1	$MST=\frac{SST}{d{f}_T}$

總結

以上是生活随笔為你收集整理的UA MATH571B 试验设计III 单因素试验设计1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。