??本節是“正交”部分的最后內容。Gram-Schmidt 過程可以將原空間的一組基轉變為標準正交基。

文章目錄

• 1. 標準正交向量 Orthonormal vectors
• 2. 標準正交矩陣 Orthonormal matrix
• 3. 標準正交列向量的優勢 Orthonormal columns are good
• 4. 施密特正交化 Gram-Schmidt(A->Q)

1. 標準正交向量 Orthonormal vectors

??滿足如下條件的向量$q_1,q_2\dots ,q_n$為標準正交向量：
$$q_i^T{q}_j=\{\begin{array}{l}0,i=j\\ 1,i=j\end{array}$$

??換而言之，它們都具有單位長度 1，并且彼此正交。標準正交向量是線性無關的。很多線性代數的計算都建立在標準正交基礎上，它讓一切變得簡單可控(從來不上溢或者下溢)。

2. 標準正交矩陣 Orthonormal matrix

??如果矩陣$Q$的列向量為標準正交向量，則$Q^{T}Q=I$為單位陣。

$$Q^{T}Q=I$$

??注意這里的矩陣$Q$可以不是方陣。我們已經學過了一系列矩陣，包括三角陣、對角陣、置換矩陣、對稱矩陣、行最簡梯形矩陣、投影矩陣等等，現在有了“標準正交”矩陣。

??一個標準正交的方陣我們稱之為“正交矩陣”（orthogonal matrix）。如果$Q$為方陣，因為 $Q^{T}Q=I$，所以 $Q^T=Q^{?1}$。 注意必須是方陣，必須是標準正交，而不只是正交。

??N：當矩陣為標準正交矩陣，而且為方陣時，才稱為是正交矩陣。

??例如，置換矩陣$Q=?\begin{array}{lll}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}?$，則有$Q^T=?\begin{array}{lll}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}?$，兩者皆為正交矩陣，并且兩者乘積為單位陣。

??再例如，$Q=\left[\begin{array}{cc}\cos \theta & ?\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$為正交矩陣。而矩陣$\left[\begin{array}{cc}1& 1\\ 1& ?1\end{array}\right]$并不是正交矩陣，而通過調整得到的矩陣 $Q=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& ?1\end{array}\right]$為正交矩陣，在矩陣外面要除以向量的長度。

??再例如，$Q=\frac{1}{2}?\begin{array}{cccc}1& 1& 1& 1\\ 1& ?1& 1& ?1\\ 1& 1& ?1& ?1\\ 1& ?1& ?1& 1\end{array}?$，也是由-1 和+1 組成的正交矩陣，這種類型的矩陣稱之為阿達瑪 Hadamard 矩陣，不同階數矩陣性質不同并且沒有規律，無從判斷幾階的阿達瑪矩陣為正交陣。

??再給一個長方形矩陣的例子，其列向量為標準正交：
??$Q=\frac{1}{3}?\begin{array}{ll}1& ?2\\ 2& ?1\\ 2& 2\end{array}?$，我們可以拓展其成為正交矩陣$?\begin{array}{ccc}1& ?2& 2\\ 2& ?1& ?2\\ 2& 2& 1\end{array}?$

3. 標準正交列向量的優勢 Orthonormal columns are good

??若$Q$的列向量為標準正交向量，則投影到$Q$的列空間的投影矩陣為：
$$P=Q(Q^{T}Q{)}^{?1}{Q}^T$$

??證明如下：
$$\begin{array}{c}{A}^{T}A\hat{x}=A^{T}b\\ A\hat{x}=p\\ p=Pb\end{array}$$

$$\hat{x}=(A^{T}A{)}^{?1}{A}^{T}b$$

$$A\hat{x}=A(A^{T}A{)}^{?1}{A}^{T}b$$

$$P=A(A^{T}A{)}^{?1}{A}^T$$

$$P=Q(Q^{T}Q{)}^{?1}{Q}^T$$

??因為$Q^{T}Q=I$，所以$P=Q{Q}^T$。 這種情況會降低很多運算量。

??如果$Q$為方陣，則$P=I$，因為$Q$的列向量線性無關，$Q$的列向量張成了整個空間，投影過程不會對向量有任何改變。當Q為方陣時，$Q^{?1}=Q^T$。

??投影矩陣的性質為：投影矩陣為對稱矩陣($P^T=P$)；如果投影兩次，還會在原有的位置($P^2=P$)，代入即為$(Q{Q}^T)(Q{Q}^T)=(Q{Q}^T)$。這是由于$Q^{T}Q=I$。

??在很多復雜問題中使用標準正交向量之后都變得簡單。如果基為標準正交，則方程$A^{T}A\hat{x}=A^{T}b$ ->$Q^{T}Q\hat{x}=Q^{T}b$的解變為 $\hat{x}=Q^{T}b$， $\hat{x}$的分量 $\widehat{x_i}$就等于 $q_i^{T}b$。

4. 施密特正交化 Gram-Schmidt(A->Q)

??

??從兩個線性無關的向量 a 和 b 開始，它們張成了一個空間，我們的目標是希望找到兩個標準正交的向量$q_1$，$q_2$能張成同樣的空間。Schmidt 給出的結論是如果我們有一組正交基 A 和 B，那么我們令它們除以自己的長度就得到標準正交基：

$$q_1=\frac{A}{\Vert A\Vert },q_2=\frac{B}{\Vert B\Vert }$$

??Gram 做了重要的工作，令 A=a，我們在 a 和 b 張成的空間中，取與 A 正交向量做成標準正交基，方法就是將 b 投影到 a 的方向，然后取$B=b?p$（B 就是之前談論過的誤差e 的方向）

$$B=b?\frac{A^{T}b}{A^{T}A}A$$，注意這個小節中 A，B，C 均為向量。

??如果從等式兩端左乘$A^T$，可以得到 $A^{T}B=0$。
??如果從三個線性無關的向量 a、 b 和 c 出發，則可以通過從 c 中減去其在 A 和B兩個方向的投影來得到C。

$$C=c?\frac{A^{T}c}{A^{T}A}A?\frac{B^{T}c}{B^{T}B}B$$

??例如$a=?\begin{array}{l}1\\ 1\\ 1\end{array}?,b=?\begin{array}{l}1\\ 0\\ 2\end{array}?$，則有$A=a，B=?\begin{array}{l}1\\ 0\\ 2\end{array}??\frac{3}{3}?\begin{array}{l}1\\ 1\\ 1\end{array}?=?\begin{array}{l}0\\ 1\\ ?1\end{array}?$，驗證計算得到$A^{T}B=0$。

??寫出$q_1，q_2$所組成的矩陣為：
$$Q=\left[\begin{array}{ll}{q}_1& q_2\end{array}\right]=?\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ \frac{1}{\sqrt{3}}& \frac{?1}{\sqrt{2}}\\ \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{2}}\end{array}?$$

??$Q$列向量的空間就是 a 和 b 張成的空間。 因此矩陣 Q 和矩陣 $A=?\begin{array}{ll}1& 1\\ 1& 0\\ 1& 2\end{array}?$有相同的列空間。

??Q的列空間與A的列空間是什么關系呢？它們是同一個列空間。

??在消元過程中，我們可以對矩陣進行分解得到$A=LU$，而在對$A$做施密特正交化的過程也可以用矩陣運算的方式表示為$A=QR$。此處$R$為上三角陣。

??$R$為上三角陣，則$a_1^T{q}_2=0$。這是因為$a_1$就是$q_1$的方向，而$q_1$和$q_2$為標準正交向量，因此 $q_2$ 的方向與 $a_1$垂直，因此內積為 0。$R$ 在$Q$右側相當于對 Q 做列操作，即$A$的列向量是$Q$列向量的線性組合，而$Q$為$A$ 列空間的一組標準正交基，則 $R$的元素實際上是$A$的列向量基于$Q$ 這組標準正交基的權。

??左下角為0，但需要注意的是右上角并不一定為0。

??采用矩陣的 QR 分解來幫助求解$Ax=b$的問題，最大的優勢是提高了數值的穩定性。

總結

以上是生活随笔為你收集整理的MIT线性代数笔记十七讲 正交矩阵和施密特正交化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。