UA MATH571B 試驗設計III 單因素試驗設計2

• 非平衡試驗
• 驗證單因素ANOVA的假設
• • 殘差圖
  • 正態性
  • • Kolmogorov-Smirnov檢驗
    • Cramer-von Mises檢驗
    • Anderson-Darling檢驗
  • 同方差
  • • Bartlett檢驗
    • 修正的Levene檢驗
• 不滿足假設的補救措施
• • Box-Cox變換
  • Kruskal-Wallis檢驗

非平衡試驗

上一講提到單因素ANOVA的模型是
$$\begin{gathered} y_{ij}=\mu +{\tau }_i+{?}_{ij},{?}_{ij}{～}_{iid}N(0,{\sigma }^2) \\ i=1,2,?,a;j=1,2,?,n \end{gathered}$$
因為每一個實驗組和對照組的試驗單位數量一樣，都是$n$，這種試驗叫平衡試驗（balanced experiment）。如果不同實驗組和對照組的試驗單位數目不一致，這種試驗叫做非平衡試驗（unbalanced experiment）。對于非平衡試驗，假設第$i$中treatment的試驗單位數目為$n_i$，則
試驗單位總數是
$$N=a\sum _{i=1}^a{n}_i$$
平方和的計算稍微修改一下，但分解不變
$$\begin{gathered} SST=\sum _{i=1}^a\sum _{j=1}^{n_i}(y_{ij}?{\bar{y}}_{..}{)}^2 \\ SSE=\sum _{i=1}^a\sum _{j=1}^{n_i}{e}_{ij}^2 \\ SSM=\sum _{i=1}^a{n}_i{\hat{\tau }}_i^2 \\ SST=SSM+SSE \end{gathered}$$
基于這個分解的ANOVA F檢驗不變。

驗證單因素ANOVA的假設

單因素ANOVA主要有三條重要假設：殘差相互獨立，殘差具有同方差性以及殘差服從正態分布。前兩者可以從殘差圖中觀察判斷，關于比較重要的同方差與正態性有相關的檢驗。

殘差圖

殘差圖一共有四種，殘差關于擬合值的圖、殘差關于下標的圖、殘差關于某個factor的圖、QQ圖。QQ圖的原理在回歸那個系列的文章解釋得比較清楚，這里就不解釋了，它是用來判斷正態性是否成立的。殘差關于擬合值的圖用來判斷同方差是否成立，如果隨著擬合值變換殘差分布的范圍發生明顯變化時，同方差假設就可能不成立。殘差關于下標的圖用來判斷獨立性，如果殘差關于指標有明顯的分布規律，那么獨立性就不成立。同樣的，如果殘差關于某個factor有明顯分布規律，就說明這個factor對response也會產生影響，需要重新設計試驗控制這個factor。

正態性

檢驗正態分布有四種常用的方法，Shapiro-Wilk檢驗、Kolmogorov-Smirnov檢驗、Cramer-von Mises檢驗、Anderson-Darling檢驗。Shapiro-Wilk檢驗在回歸那個系列就介紹過了，這里介紹后三種檢驗。

Kolmogorov-Smirnov檢驗

這個檢驗的思想是判斷殘差的經驗分布與正態分布之間的距離有多大，如果距離小于某個判別值就認定是正態分布。首先計算殘差的經驗分布函數
$$F_N(x)=\frac{1}{N}\sum _{i=1}^a\sum _{j=1}^{n_i}{I}_{(?\infty ,x]}(e_{ij})$$
定義
$$D_N=\underset{x}{\sup }|F_N(x)?F(x)|$$
其中$F(x)$是我們想驗證的分布形式，比如這里我們的原假設就是
$$H_0:?～N(0,{\sigma }^2)$$
這就意味著$F(x)$就是$N(0,{\sigma }^2)$的分布函數。根據Glivenko-Cantelli定理，$D_n\to 0a.s.$，因此原假設成立$D_n$會足夠小，因為$D_n$服從Kolmogorov分布，所以可以由此構造假設檢驗。但需要注意的是，相比其他檢驗，在相同的檢驗水平下，Kolmogorov-Smirnov檢驗需要更大的樣本量以拒絕原假設，換句話說就是這個檢驗的勢不如Anderson-Darling檢驗和Shapiro-Wilk檢驗。

Cramer-von Mises檢驗

Cramer-von Mises檢驗也是用來判斷經驗分布函數與某種分布之間距離的檢驗方法。定義
$$w^2={\int }_{\mathcal{X}}[F_N(x)?F(x){]}^{2}dF(x)$$
將殘差按從小到大的順序排列，假設排列之后為$\{x_1,?,x_N\}$，定義統計量
$$T=N{w}^2=\frac{1}{12N}+\sum _{i=1}^N\left[\frac{2i?1}{2N}?F(x_i)\right]$$
這個統計量的判別值需要查表。這個檢驗的原假設與Kolmogorov-Smirnov檢驗一致，可以作為Kolmogorov-Smirnov檢驗的替代。

Anderson-Darling檢驗

Anderson-Darling檢驗比Cramer-von Mises檢驗更具有一般性。統計量定義為
$$N{\int }_{\mathcal{X}}[F_N(x)?F(x){]}^{2}w(x)dF(x)$$
其中$w(x)$是權重函數，如果取$w(x)=1$，就是Cramer-von Mises檢驗。通常為了有更大的勢，Anderson-Darling檢驗用這個權重函數
$$w(x)=\frac{1}{F(x)(1?F(x))}$$
這個檢驗也需要查表找判別值。

同方差

同方差檢驗有兩種常用的方法，Bartlett檢驗、修正的Levene檢驗。

Bartlett檢驗

Bartlett檢驗的原假設是
$$H_0:{\sigma }_1^2=?={\sigma }_a^2$$
檢驗的統計量是
$${\chi }_0^2=2.3026\frac{q}{c}～{\chi }^2(a?1)$$
其中
$$\begin{gathered} q=(N?a)\lg S_p^2?\sum _{i=1}^a(n_i?1)\lg S_i^2 \\ c=1+\frac{1}{3(a?1)}\left(\sum _{i=1}^a\frac{1}{n_i?1}?\frac{1}{N?a}\right) \end{gathered}$$
因為要檢驗的是每個treatment group的方差，所以這里用更一般的非平衡的式子來表示的，因為平衡的模型可以看成非平衡的一個特例。其中$S_i$是組內樣本方差
$$S_i^2=\frac{1}{n_i}\sum _{j=1}^{n_i}(y_{ij}?{\bar{y}}_{i.}{)}^2$$
$S_p$是pooled sample variance
$$S_p=\frac{{\sum }_{i=1}^a(n_i?1)S_i^2}{N?a}$$

修正的Levene檢驗

修正的Levene檢驗和Bartlett檢驗都屬于Levene檢驗。修正的Levene檢驗原假設依然是
$$H_0:{\sigma }_1^2=?={\sigma }_a^2$$
但用的是ANOVA的思路。先計算組內中位數
$$m_i=median(y_{ij}),i=1,?,a$$
將所有數值變換為
$$d_{ij}=|y_{ij}?m_i|$$
用$d_{ij}$作為每組數據方差的代理變量，對其做ANOVA。

不滿足假設的補救措施

Box-Cox變換

如果同方差假設不成立，可以嘗試對response做Box-Cox變換。假設$EY=\mu$，$Var(Y)={\sigma }^2$，如果同方差假設不成立，${\sigma }^2$可以寫成$\mu$的函數：
$${\sigma }^2=g(\mu )$$
。如果對response做變換
$$\tilde{Y}=f(Y)$$
根據Delta Method（參考概率論那個系列或者統計理論點估計基礎），
$$Var(\tilde{Y})\approx [f^{\prime }(\mu ){]}^2{\sigma }^2=[f^{\prime }(\mu ){]}^{2}g(\mu )$$
如果選擇的變換能使得$Var(\tilde{Y})$與$\mu$無關，就可以使用這個變換解決異方差的問題。有幾種比較常見的情況：

Poisson型異方差：$g(\mu )=\mu$
假設$[f^{\prime }(\mu ){]}^{2}g(\mu )=c$，則$f^{\prime }(\mu )=\frac{\sqrt{c}}{\sqrt{\mu }}$，忽略積分常數，可以設變換為$f(Y)=\sqrt{Y}$

Bernoulli型異方差：$g(\mu )=\mu (1?\mu )$
假設$[f^{\prime }(\mu ){]}^{2}g(\mu )=c$，則$f^{\prime }(\mu )=\frac{\sqrt{c}}{\sqrt{\mu (1?\mu )}}$，忽略積分常數，可以設變換為$f(Y)=\arcsin (\sqrt{x})$

冪函數型異方差：$g(\mu )=\theta {\mu }^{\beta }$
如果$\beta =2$，則變換應該設為$f(Y)=\ln Y$，如果$\beta =2\lambda$，可以將變換設為$f(Y)=Y^{1?\lambda }$，這類異方差下的變換叫Box-Cox變換。

Box-Cox變換指數的確定可以用最大似然法，也可以用最小二乘法。不做正式推導的話可以用這個說明來簡單理解一下：
$${\sigma }^2=g(\mu )=\theta {\mu }^{\beta }?\ln {\sigma }^2=\ln \theta +\beta \ln \mu$$
用${\bar{y}}_{i.}$作為$\mu$的估計，用$S_i^2$作為${\sigma }^2$的估計，則用$\ln {\bar{y}}_{i.}$回歸$\ln S_i^2$可以確定兩個系數。

Kruskal-Wallis檢驗

如果正態假設不成立，可以考慮用非參的Kruskal-Wallis檢驗，這個檢驗的原假設是
$$H_0:alltreatmentsareequal$$
首先按從小到大的順序在組內給$y_{ij}$排序，然后將其序號記為$R_{ij}$，如果是相同的值，比如第二和第三一樣，那他們的序號就是2.5。構造統計量
$$H=(N?1)\frac{{\sum }_{i=1}^a\frac{R_{i.}^2}{n_i}?\frac{N(N+1{)}^2}{4}}{{\sum }_{i=1}^a{\sum }_{j=1}^{n_i}{R}_{ij}^2?\frac{N(N+1{)}^2}{4}}\approx {\chi }^2(a?1)$$
這個檢驗不需要正態假設，所以正態性不成立的時候可以用這個替代ANOVA。

總結

以上是生活随笔為你收集整理的UA MATH571B 试验设计III 单因素试验设计2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。