文章目錄

• 奇異值分解的主要思想
• 主要性質
• 計算過程
• 幾何解釋
• 奇異值分解形式

奇異值分解的主要思想

奇異值（singular value decomposition, SVD）是一種矩陣因子分解方法。

其主要思想是：任意一個$m\times n$ 矩陣都可以表示為三個矩陣的乘積（因子分解）形式，即：
$$A=U\Sigma V^{\mathrm{T}}$$
$U\Sigma V^{\mathrm{T}}$稱為矩陣A的奇異值分解，并不要求A為方陣。其中 $U$ 是$m$ 階正交矩陣，$V$ 是 $n$ 階正交矩陣， $\Sigma$ 是由降序排序的非負的對角線元素組成的$m\times n$ 矩形對角矩陣。且滿足：
$$\begin{gathered} U{U}^{\mathrm{T}}=I \\ V{V}^{\mathrm{T}}=I \\ \Sigma =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_p) \\ {\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_p\ge 0 \\ p=\min (m,n) \end{gathered}$$
${\sigma }_i$ 稱為矩陣A的奇異值，U的列向量稱為左奇異向量，V的列向量稱為右奇異向量。

主要性質

（1）假設矩陣A的奇異值分解為：$A=U\Sigma V^{\mathrm{T}}$，則以下關系成立：
$$\begin{gathered} A^{\mathrm{T}}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T \\ A{A}^{\mathrm{T}}=(U\Sigma V^T)(U\Sigma V^T{)}^T=U({\Sigma }^T\Sigma )U^T \end{gathered}$$
說明$A{A}^{\mathrm{T}}$和$A^{\mathrm{T}}A$作為對稱矩陣，特征分解存在，且可由矩陣$A$的奇異值分解的矩陣表示。

（2）矩陣A的奇異值分解中，奇異值、左奇異向量和右奇異向量之間存在對應關系。

已知正交矩陣U滿足：$U^{?1}=U^{\mathrm{T}}$ ，由$A=U\Sigma V^T$ 易知：
$$AV=U\Sigma$$
比較等式兩端的第 j 列，展開則有：
$$A{v}_j={\sigma }_j{u}_{j}j=1,2,\dots ,n$$
這就是奇異值、左奇異向量和右奇異向量之間的關系。進一步可以得到：
$$u_j=\frac{1}{{\sigma }_j}A{v}_j$$
（3）矩陣$A$的奇異值分解中，奇異值是唯一的，即：$\Sigma$ 唯一，但是矩陣$U$和$V$不是唯一的。

（4）$rank(A)=rank(\Sigma )=正奇異值個數$

計算過程

根據性質（1）$A^{\mathrm{T}}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T$ ，$A^{\mathrm{T}}A$的特征向量構成正交矩陣$V$ 的列；$A^{\mathrm{T}}A$的特征值${\lambda }_j$ 的平方根為奇異值${\sigma }_i$ ；即：
$${\sigma }_j=\sqrt{{\lambda }_j}j=1,2,\dots ,n$$
對其由大到小排列組為對角線元素，構成對角矩陣$\Sigma$ 。

具體過程如下：

（1）首先求$A^{\mathrm{T}}A$ 的特征值和特征向量。

計算對稱矩陣$W=A^{\mathrm{T}}A$。

求解特征方程：
$$(W?\lambda I)x=0$$
特征值${\lambda }_i$ 從大到小排序：
$${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_n\ge 0$$
求特征值${\lambda }_i$ 對應的特征向量。

（2）將特征向量單位化，得到對應特征值的特征向量$v_1,v_2,\dots ,v_n$，構成n 階正交矩陣$V$：
$$V=[v_1{v}_2\dots v_n]$$
（3）求$m\times n$ 對角矩陣$\Sigma$

計算A的奇異值：
$${\sigma }_i=\sqrt{{\lambda }_i}$$
構造$m\times n$ 矩形對角矩陣$\Sigma$ ，主對角線元素是奇異值，其余元素是零：
$$\Sigma =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_n)$$
（4）求$m$ 階正交矩陣$U$

對$A$的前$r$ 個正奇異值，令：
$$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\dots r$$
得到：
$$U_1=[u_1{u}_2\dots u_r]$$
求$A^{\mathrm{T}}$ 的零空間的一組標準正交基$\{u_{r+1}{u}_{r+2}\dots u_m\}$，令：
$$U_2=[u_{r+1}{u}_{r+2}\dots u_m]$$
并令：
$$U=[U_1{U}_2]$$
（5）得到奇異值分解：
$$A=U\Sigma V^T$$

幾何解釋

從線性變換的角度解釋奇異值分解。設存在這樣一個線性變換：
$$T:x\to Ax$$
$x\in R^n,Ax\in R^m$，$x,Ax$ 分別是各自空間的向量，并且有$Ax=U\Sigma V^{\mathrm{T}}x$。線性變換的解釋可以按$U\Sigma V^{\mathrm{T}}x$的計算順序分解為三個簡單的變換：

（1）一個坐標系的旋轉或反射變換：$V^{\mathrm{T}}$。

（2）一個坐標軸的縮放變換：$\Sigma$。

（3）另一個坐標系的旋轉或反射變換：$U$。

奇異值分解過程：$A=U\Sigma V^{\mathrm{T}}$ ，$U、V$ 是正交矩陣，$V$ 可以理解為列向量$v_1,v_2\dots ,v_n$ 構成$R^n$ 空間的一組標準正交基。 $U$ 可以理解為列向量$u_1,u_2\dots ,u_n$ 構成$R^n$ 空間的一組標準正交基。 $\Sigma$ 的對角線元素${\sigma }_1,{\sigma }_2\dots ,{\sigma }_n$ 是一組非負實數，表示 $R^n$ 空間中原始坐標系坐標軸的${\sigma }_1,{\sigma }_2\dots ,{\sigma }_n$ 倍的縮放變換。

任意一個向量$x\in R^n$，經過基于$A=U\Sigma V^{\mathrm{T}}$ 的線性變換，等價于上述的三個過程，具體如下圖所示：

奇異值分解形式

奇異值分解$A=U\Sigma V^{\mathrm{T}}$ 又稱矩陣的完全奇異值分解。實際常用的是奇異值分解的緊湊形式和截斷形式。緊湊形式分解是與原始矩陣等秩的奇異值分解，截斷奇異值分解是比原始矩陣低秩的奇異值分解。

（1）緊奇異值分解

緊奇異值分解：
$$A=U_r{\Sigma }_r{V}_r^{\mathrm{T}}$$
其中，$r=rank(A)$ 。

這種分解的對角矩陣${\Sigma }_r$ 的秩和原始矩陣A的秩相等。

（2）截斷奇異值分解
$$A\approx U_k{\Sigma }_k{V}_k^{\mathrm{T}}$$
其中，$rank(A)=r且0<k<r$。

這種分解的對角矩陣${\Sigma }_r$ 的秩比原始矩陣A的秩低。

參考文章：

《統計學習方法 第二版》

總結

以上是生活随笔為你收集整理的奇异值分解(SVD)相关知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。