前言：花了一個半月時間學習了 北大丘維聲的《高等代數》、北理史榮昌的《矩陣分析》、清華張賢達的《矩陣分析與應用》；北大與哈工大的網課。

本質：（萬物皆矩陣）矩陣論主要研究矩陣，對于圖像、神經網絡等可表示成矩陣形式，然后結果矩陣的處理方法，對其進行操作，例如分解，基本運算等。

一、矩陣（矩陣表示單個事物）

1.1矩陣的基本運算

基本運算：加法；數乘；矩陣乘法；轉置；內積；外積

拓展運算：直和；Hadamard積（Schur積）；Kronecker積（直積）；Khatri-Rao積（對應列Kronecker積）

注：向量之間的外積可由Kronecker積表示；Khatri-Rao積由兩個列數相同的矩陣 對應列Kronecker積構成

矩陣結構運算：向量化（列向量化vec（A），行向量化revec（A）），矩陣化（分行向量矩陣化與列向量矩陣化）

1.2矩陣的性能指標

（實對稱矩陣或Hermite矩陣）二次型：

，刻畫矩陣的正定性

（方陣）行列式：刻畫矩陣的奇異性；等于特征值之積

（方陣）特征值：1、刻畫矩陣的奇異性（是否存在0特征值） 2、刻畫矩陣的正定性 3、刻畫對角元素之和

注：上，下三角矩陣的特征值等于主對角元素；實對稱矩陣不同特征值對應的特征向量是正交的。

（方陣）跡：等于特征值之和

秩：刻畫矩陣的奇異性，行秩等于列秩（對于張量不一定成立）

奇異值：

的特征值的正平方根，全奇異值分解-》刻畫矩陣的奇異性（是否存在0奇異值）

1.3矩陣的度量（內積與范數）

向量：（常采用典范內積

，Lp范數）

注：L2范數常稱Euclidean范數或者Frobenius范數

矩陣：

矩陣內積：

矩陣范數:誘導范數、元素形式范數、Schatten范數

（1）誘導范數定義：

注：常用的誘導范數為p-范數

；誘導L1范數對應矩陣的列元素絕對值最大列和；誘導L2范數（矩陣的譜范數）對應矩陣A的最大奇異值；誘導L 范數對應矩陣A的行元素絕對值最大行和

（2）“元素形式”范數：

注：當p=2時的范數稱為L2范數，Euclidean范數，Frobenius范數

（3）Schatten范數（用矩陣奇異值定義的范數）

1.4 逆矩陣

（1）正方滿秩矩陣的逆矩陣

（2）非正方滿（行或列）秩的偽逆矩陣

左逆矩陣

右逆矩陣

注：左偽逆矩陣與超定方程的最小二乘解有關，右偽逆矩陣與欠定方程的最小二乘解有關

（3）非正方秩虧損的偽逆矩陣（Moore-Penrose逆矩陣，廣義逆矩陣）

滿足以下4個條件的矩陣，稱為Moore-Penrose逆矩陣

1.5 特殊矩陣

（1）（方陣）實對稱矩陣與復共軛對稱矩陣(Hermite矩陣)

（2）（方陣）實正交矩陣與酉矩陣（復數域）

注：酉矩陣的列或者行向量皆為標準正交基；酉矩陣對應的酉變換保內積，保長度

（3）（方陣）正規矩陣

注：對稱矩陣hermite矩陣，正交矩陣，酉矩陣皆為正規矩陣。

（4）置換矩陣：每一行每一列有且僅有一個非零元素1。（等于初等矩陣的乘積，左乘A表示行變換，右乘A表示列變換，）

注：置換矩陣的三種特殊情況：交換矩陣，互換矩陣，位移矩陣

（5）帶型矩陣（三角矩陣為帶型矩陣的特例）除主對角線上下幾條斜線以外元素皆為0

（6）求和向量與中心化矩陣（數理統計中常用）

求和向量(元素全為1)：n個標量的求和可表示為求和向量與另一向量的內積

中心化矩陣：

,其中Jn為元素全為1的n*n矩陣

注：

Cnx向量內積等于C的二次型，等于樣本數據的協方差

（7）Vandermonde矩陣，Fourier矩陣，Hadmard矩陣（信號處理中常用）

1.6 常數、函數、隨機矩陣

注：矩陣元素可為常數、函數、隨機變量

函數矩陣的極限、導數、積分等于對應元素求極限、導數、積分；其余與常數矩陣類似

1.7 矩陣函數

（1）利用矩陣冪級數定義矩陣函數（北理數用解析定義）

（2）常見矩陣函數（類似利用一元多項式環的通用性質直接得到，與常見函數的泰勒展開式一致）

（3）矩陣函數值的計算

后面少了P逆

由該定理，我們可以實現降次的目的。

（4）矩陣函數微分（其中矩陣函數值根據f(X)中f的不同，最終結果可為標量、向量、矩陣）（梯度矩陣與Hessian矩陣最優化問題中常用）

1、以實矩陣為變元的實函數（梯度矩陣等于Jacobian矩陣的轉置）

注1：Jacobian矩陣為按行向量形式定義的偏導矩陣，梯度矩陣（最優化問題中常見）為按列向量形式定義的偏導矩陣；Jacobian矩陣也有稱協(同)梯度矩陣

注2：一階實矩陣微分是辨識實矩陣函數的梯度矩陣、Jacobian矩陣的有效數學工具；（即可通過對矩陣函數求一階微分的結果中直接得到梯度矩陣與Jacobian矩陣，具體表示式見張賢達書第三章）

注3：二階實矩陣微分是辨識實矩陣函數的Hessian矩陣(二階偏導矩陣)的有效數學工具；（即可通過對矩陣函數求二階微分的結果中直接得到實函數的Hessian矩陣，具體表示式見張賢達書第三章）

2、以復矩陣為變元的實函數（梯度矩陣等于Jacobian矩陣的轉置，會得到梯度&共軛梯度）注：一階復矩陣微分可以標識梯度矩陣與共軛梯度矩陣，Jacobian矩陣與共軛Jacobian矩陣；二階復矩陣微分可以標識復Hessian矩陣

二、代數系統（矩陣表示兩系統之間的關系）

2.1 代數系統（線性空間、環、域）

線性空間：定義了加法與數乘，滿足8條

環：定義了加法與乘法，滿足6條，乘法需要滿足結合律與左右分配律

注：乘法滿足交換律的環稱為交換環，乘法中含有單位元的環稱為有單位元的環

舉例：一元多項式環，n元多項式環，整數集

域：含有單位元的交換環，并且其中每個非零元都是可逆元

舉例：數域

2.2 線性映射（描述兩個線性空間的映射問題）

1、線性映射的矩陣表達式

線性變換矩陣：

線性映射矩陣：

注：已知向量a在

基下的坐標為X，則線性變換后在 基下的坐標為Y=AX；則線性映射后在 基下的坐標為Y=BX；

2、線性變換的Jordan標準型(方陣，矩陣相似的“最簡形式”)

證明思路：基于不變子空間可將矩陣塊三角化與塊對角化，即P1與P2皆為方陣的不變子空間，則實現矩陣的塊對角化。若引入一維不變子空間，即特征向量作為P的列向量，當存在n個線性無關的特征向量（表示滿足P可逆），則實現矩陣的對角化。

最終得到最重要的Jordan標準性：

3、特殊的線性變換

注：一個方陣對應與一個線性變換，具有特殊性質的矩陣對應的線性變換，同樣具有某些特性

(1)酉變換、正交變換（保內積，保長度），屬于保距同構映射

注：酉矩陣一定酉相似于對角矩陣，其主對角元素為模為1的復數（因為酉矩陣特征值的模等于1）；正交變換正交相似于分塊對角矩陣

(2)Hermite變換、對稱變換

注：實對稱矩陣一定能正交相似于對角矩陣，n級Hermite矩陣一定能酉相似于對角矩陣

(3)正交投影

注：若P即為冪等矩陣又為Hermite矩陣，即可作為一投影算子。I-P則為正交投影算子（往垂線方向投影）

2.3 具有度量的線性空間（內積空間、賦范空間、Hilbert空間）

內積空間：只要規定了一個內積(正定的對稱雙線性函數)的線性空間皆可稱為內積空間

注1：有限維實內積空間稱為歐幾里得空間，簡稱歐式空間；有限維復內積空間稱為酉空間，

注2：（正定性二者皆滿足）復內積與實內積的區別：1、復內積滿足共軛對稱性，實內積滿足對稱性；2、實內積對兩個變量都是線性的，復內積對于一個變量線性，對另一個共軛線性

賦范空間：定義了范數的空間，可度量向量長度、距離、領域

注：定義了L2范數的賦范空間稱為Eculidean空間

完備賦范空間：（完備性）

1、Banach空間：每一個Cauchy序列極限都存在于空間中

2、Hibert空間：每一個Cauchy序列的范數的極限都存在于空間中

，Banach空間不能

3、一個有限維的賦范空間一定是Banach空間，自動滿足Cauchy序列極限收斂的條件

總結

以上是生活随笔為你收集整理的正交变换在基下的矩阵都是可逆阵_矩阵分析与应用（一，矩阵基础知识）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。