矩阵的奇异值分解
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 矩陣的奇異值分解
矩陣的奇異值分解證明過程中會用到五個定理，先作為補充知識展示這五個定理：
定理一：A是對稱矩陣，則不同特征值對應的特征向量是正交的。
————————————————————————————————————————————————————————————————————————————
定理二：矩陣和它的轉置具有相同的特征值
證明：因為：
，
即和有相同的特征多項式，所以有相同的特征值。
————————————————————————————————————————————————————————————————————————————
定理三：半正定矩陣的特征值均大于等于零
證明：這是半正定矩陣的定義
————————————————————————————————————————————————————————————————————————————
定理四：若滿足,則稱是單位正交矩陣
單位正交矩陣有如下的性質：。
————————————————————————————————————————————————————————————————————————————
定理五：若矩陣的秩為r，則和秩均為r。
————————————————————————————————————————————————————————————————————————————
補充完以上五個定理，我們正式開始矩陣的奇異值分解的證明。
?
設矩陣,矩陣的秩為,且，則矩陣可以分解為如下形式：
，
?
也可表示為：
證明：無非就是尋找。
顯然，，且這兩個矩陣均是半正定矩陣，且互為轉置，且根據定理五，這兩個矩陣的秩均為。根據定理二和定理三，這兩個矩陣的特征值是相同的，且均大于等于零。我們只用大于零的特征值。設(我們按從大到小排序即：)是它們的不為零的特征值，且對于矩陣對應的單位特征向量為（），對于矩陣對應的單位特征向量為（），即
，。
其實和存在一定的關系，下面就找出這種關系。
因為
，
所以，是的特征向量，又因為也是的特征向量，所以，
，
又因為
，
所以：
。
則：
,
所以，
，
那么
下面證明
，
其中代表單位矩陣。
因為是對稱矩陣的不同特征值對應的特征向量，根據定理一，我們得出他們是相互正交的，又因為
，
然后，然后根據定理四，我們便得到
所以：
。
證畢。
總結
- 上一篇： 机器学习基础：最优化方法
- 下一篇： 矩阵论基础知识4——强大的矩阵奇异值分解