通過線性回歸得到回歸參數(shù)后，可以通過計算判定系數(shù)$R^2$來評估回歸函數(shù)的擬合優(yōu)度。判定系數(shù)$R^2$定義如下：
$$R^2=\frac{SSR}{SST}=1?\frac{SSE}{SST}$$
其中，$SSR=\sum _{i=1}^n({\hat{y}}_i?{\bar{y}}_i{)}^2$，$SSE=\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2$和$SST=\sum _{i=1}^n(y_i?\bar{y}{)}^2$。$R^2$越接近1，回歸函數(shù)的擬合優(yōu)度越大。上式可改寫成$SST=SSR+SSE$，即：
$$\sum _{i=1}^n(y_i?\bar{y}{)}^2=\sum _{i=1}^n({\hat{y}}_i?{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2$$

為了理解$R^2$，我們有必要先回顧一下線性回歸的通式：
$$?\begin{array}{l}{\hat{y}}_i=f(x)={\theta }_0+\sum _{j=1}^n{\theta }_j{x}_i^j\\ y_i={\hat{y}}_i+{?}_i\end{array}$$
其中，$y_i$實際上由${\hat{y}}_i$和${?}_i$組成，${\hat{y}}_i$隨$x_i$變化而變化。令 $x_i^0=1$，${\hat{y}}_i={\theta }_0+\sum _{j=1}^n{\theta }_j{x}_i^j$可被改寫成${\hat{y}}_i={\theta }^T{x}_i$。將上式改寫成向量和矩陣的形式：
$$?\begin{array}{l}?\begin{array}{ccccc}1& x_1^1& x_1^2& \dots & x_1^n\\ 1& x_2^1& x_2^2& \dots & x_2^n\\ ?& & & & \\ 1& x_m^1& x_m^2& \dots & x_m^n\end{array}??\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ?\\ {\theta }_n\end{array}?=?\begin{array}{c}{\hat{y}}_1\\ {\hat{y}}_2\\ ?\\ {\hat{y}}_m\end{array}?\\ \\ ?\begin{array}{c}{y}_1\\ y_2\\ ?\\ y_m\end{array}?=?\begin{array}{c}{\hat{y}}_1\\ {\hat{y}}_2\\ ?\\ {\hat{y}}_m\end{array}?+?\begin{array}{c}{?}_1\\ {?}_2\\ ?\\ {?}_m\end{array}?\end{array}$$
當$\theta ?=0$時，$\hat{Y}$是$X$的一個線性組合，即$\hat{Y}$存在于由$X$的列向量所展開的列空間中。對于一次冪的線形回歸，$X$的列空間即是一個超平面，$\hat{Y}$是存在于面內(nèi)的一個向量（即$Y$在面上的投影）。為了使得殘差最小化，$?$是$Y$垂直于面方向上的投影。在三維中的幾何意義如下圖（文中$\theta$即圖中$\beta$，圖中$X_i$表示列向量，圖取自）：

因為$?$垂直于$X$的列空間，所以$?$垂直于$X$的所有列向量，即$X^T?=0$。又因$?=Y?X\theta$，得：
$$\begin{gathered} X^T(Y?X\theta )=0 \\ {X}^{T}Y=X^{T}X\theta \\ \theta =(X^{T}X{)}^{?1}{X}^{T}Y \\ \hat{Y}=X\theta =X(X^{T}X{)}^{?1}{X}^{T}Y \end{gathered}$$
根據(jù)$\hat{Y}=X\theta =X(X^{T}X{)}^{?1}{X}^{T}Y$，我們得到了投影矩陣$P=X(X^{T}X{)}^{?1}{X}^T$。$\hat{Y}=PY$，投影矩陣$P$乘以$Y$得到了$Y$屬于$X$列空間的分量$\hat{Y}$。投影矩陣有兩個性質(zhì)需要了解：

$P$是對稱矩陣；
$$P^T=(X(X^{T}X{)}^{?1}{X}^T{)}^T=X((X^{T}X{)}^{?1}{)}^T{X}^T=X((X^{T}X{)}^T{)}^{?1}{X}^T=X(X^{T}X{)}^{?1}{X}^T=P$$

$P^2=P$。
$$P^2=P^{T}P=X(X^{T}X{)}^{?1}{X}^{T}X(X^{T}X{)}^{?1}{X}^T=X(X^{T}X{)}^{?1}{X}^{T}X(X^{T}X{)}^{?1}{X}^T=X(X^{T}X{)}^{?1}{X}^T=P$$

現(xiàn)在，我們可以開始推導判定系數(shù)公示$SST=SSR+SSE$了。如下（$1\in R^m$）：
$$\begin{array}{rl}& SST=\sum _{i=1}^n(y_i?\bar{y}{)}^2=\sum _{i=1}^n[(y_i?{\hat{y}}_i)+({\hat{y}}_i?\bar{y}){]}^2\\ & =\sum _{i=1}^n({\hat{y}}_i?{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2+\sum _{i=1}^{n}2(y_i?{\hat{y}}_i)({\hat{y}}_i?\bar{y})\\ & =\sum _{i=1}^n({\hat{y}}_i?{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2+\sum _{i=1}^{n}2(y_i?{\hat{y}}_i)({\hat{y}}_i?\bar{y})\\ & =\sum _{i=1}^n({\hat{y}}_i?{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2+2?(\hat{Y}?\bar{Y}1)\\ & =\sum _{i=1}^n({\hat{y}}_i?{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2+2?(PY?\bar{Y}1)\\ & =\sum _{i=1}^n({\hat{y}}_i?{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2+2{?}^T\hat{Y}?2\bar{Y}{?}^{T}1\end{array}$$
因為$?$垂直于$X$的列空間，且$\hat{Y}$屬于$X$的列空間，所以${?}^T\hat{Y}=0$；又因為$1=x_i^0\in R^m$（$1$屬于$X$的列空間），所以${?}^{T}1=0$。因此：
$$SST=\sum _{i=1}^n({\hat{y}}_i?{\bar{y}}_i{)}^2+\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2+2{?}^T\hat{Y}?2\bar{Y}{?}^{T}1=SSR+SSE$$

總結(jié)

以上是生活随笔為你收集整理的判定系数推导 — Coefficient of Determination Derivation的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。