UA STAT687 線性模型理論I 線性模型概述

• 線性回歸
• One-way ANOVA
• Two-way ANOVA
• • Nested Design
  • Cross Design
• ANCOVA

線性模型是統計中一類模型的總稱，包括線性回歸模型、ANOVA模型、線性時間序列模型等，因此線性模型理論研究的是這一類模型共同的性質。稱解釋變量$X$與被解釋變量$y$之間滿足
$$y=Xb+e$$

的模型為線性模型，其中$b$與$X,y$無關，$e$是隨機誤差。

第I部分介紹一些常見的線性模型，這些模型在UA MATH571A與UA MATH571B這兩個系列中都分別介紹過，只是這里再綜合一下，讓大家對線性模型具體指哪一類模型有一個總覽性的認識，并且掌握用矩陣來描述分量形式表示的模型。

線性回歸

$X$是一個$N\times k$的矩陣，表示解釋變量，每$n$行表示第$n$組樣本，每$k$列表示第$k$個解釋變量的所有樣本；$y$是$N$維列向量，表示被解釋變量的所有樣本，線性回歸模型可以表示為：
$$y=X\beta +e$$

其中$e$表示隨機誤差，通常假設$Ee=0,Cov(e)={\sigma }^2{I}_N$（Gauss-Markov假設）；另外，線性回歸中的線性具體指的是$\beta$關于$y$是線性的。線性回歸模型要寫成矩陣的形式是非常直觀的。

One-way ANOVA

考慮一般情況，不平衡的RCD：
$$y_{ij}=\mu +{\alpha }_i+e_{ij},i=1,?,a;j=1,?,n_i$$

這個模型可以改寫成

需要注意的是$y$與$e$是一個二階的array，改寫成矩陣的時候寫成一個列向量，排序方式是先$i$后$j$。${\alpha }_i$表示treatment factor第$i$個factor level的treatment effect，它與$y_{i.}$以及${\text{1}}_{n_i}$對應。$\text{1}$填充的位置表示對應位置的response由哪些effect構成。

Two-way ANOVA

Nested Design

假設有兩個factor $X,Y$，$Y$嵌套在$X$中：$X$的取值為$F,P$，$Y$的取值為$A,B,D,E,M$，其中$D,M$嵌套在$F$中，$A,B,E$嵌套在$P$中，則模型可以寫為
$$y_{XYk}=\mu +{\alpha }_X+{\beta }_{Y(X)}+e_{XYk}$$

改寫成矩陣為：

Cross Design

考慮模型
$$y_{ijk}=\mu +{\alpha }_i+{\beta }_j+e_{ijk},i=1,?,a,j=1,?,b$$

改寫為矩陣：

ANCOVA

在RCD中，如果試驗單位存在重要的covariate時，可以用ANCOVA，把covariate也加入到模型中，與One-way ANOVA，模型要修正為
$$y_{ij}=\mu +{\alpha }_i+\beta x_{ij}+e_{ij},i=1,?,a;j=1,?,n_i$$

改寫成矩陣：

總結

以上是生活随笔為你收集整理的UA STAT687 线性模型理论I 线性模型概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。