機器學習，需要一定的數學基礎，需要掌握的數學基礎知識特別多，如果從頭到尾開始學，估計大部分人來不及，我建議先學習最基礎的數學知識，基礎知識可以分為高等數學、線性代數、概率論與數理統計三部分，我整理了相關數學基礎資料：

源文件下載：

https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math

內容簡介

一、斯坦福大學CS229數學基礎

這是斯坦福大學 CS 229 機器學習課程的基礎材料，是斯坦福各大人工智能課程的數學基礎，對人工智能課程做了優化，強烈推薦！！

我們對原始教程進行了翻譯，翻譯版本做成了在線閱讀版本。

（點擊查看：1.線性代數，2.概率論）

二、國內大學的數學基礎教材精華

這個是我考研考博時候整理的中文教材的資料，分為高等數學、線性代數、概率論與數理統計三部分，我把和機器學習相關的數學知識進行了整理，進行公布。

本文是線性代數部分，建議收藏慢慢看。

---

行列式

1.行列式按行（列）展開定理

(1) 設，則：

或即?其中：

(2) 設為階方陣，則，但不一定成立。

(3)?,為階方陣。

(4) 設為階方陣，（若可逆），

(5)??，為方陣，但?。

(6) 范德蒙行列式

設是階方陣，是的個特征值，則?

矩陣

矩陣：個數排成行列的表格?稱為矩陣，簡記為，或者?。若，則稱是階矩陣或階方陣。

矩陣的線性運算

1.矩陣的加法

設是兩個矩陣，則?矩陣稱為矩陣與的和，記為?。

2.矩陣的數乘

設是矩陣，是一個常數，則矩陣稱為數與矩陣的數乘，記為。

3.矩陣的乘法

設是矩陣，是矩陣，那么矩陣，其中稱為的乘積，記為?。

4.?、、三者之間的關系

(1)?

(2)?

但?不一定成立。

(3)?，?

但不一定成立。

(4)?

5.有關的結論

(1)?

(2)?

(3)?若可逆，則

(4) 若為階方陣，則：

6.有關的結論

可逆

可以表示為初等矩陣的乘積；。

7.有關矩陣秩的結論

(1) 秩=行秩=列秩；

(2)?

(3)?；

(4)?

(5) 初等變換不改變矩陣的秩

(6)?特別若?則：

(7) 若存在?若存在?

若?若。

(8)?只有零解

8.分塊求逆公式

；?；

；?

這里，均為可逆方陣。

向量

1.有關向量組的線性表示

(1)線性相關至少有一個向量可以用其余向量線性表示。

(2)線性無關，，線性相關可以由唯一線性表示。

(3)?可以由線性表示??。

2.有關向量組的線性相關性

(1)部分相關，整體相關；整體無關，部分無關.

(2) ①?個維向量?線性無關，?個維向量線性相關??。

②?個維向量線性相關。

③ 若線性無關，則添加分量后仍線性無關；或一組向量線性相關，去掉某些分量后仍線性相關。

3.有關向量組的線性表示

(1)?線性相關至少有一個向量可以用其余向量線性表示。

(2)?線性無關，，線性相關?可以由唯一線性表示。

(3)?可以由線性表示?

4.向量組的秩與矩陣的秩之間的關系

設，則的秩與的行列向量組的線性相關性關系為：

(1) 若，則的行向量組線性無關。

(2) 若，則的行向量組線性相關。

(3) 若，則的列向量組線性無關。

(4) 若，則的列向量組線性相關。

5.維向量空間的基變換公式及過渡矩陣

若與是向量空間的兩組基，則基變換公式為：

其中是可逆矩陣，稱為由基到基的過渡矩陣。

6.坐標變換公式

若向量在基與基的坐標分別是?，

?即：?，則向量坐標變換公式為?或，其中是從基到基的過渡矩陣。

7.向量的內積

8.Schmidt 正交化

若線性無關，則可構造使其兩兩正交，且僅是的線性組合，再把單位化，記，則是規范正交向量組。其中?，??，??，

............

9.正交基及規范正交基

向量空間一組基中的向量如果兩兩正交，就稱為正交基；若正交基中每個向量都是單位向量，就稱其為規范正交基。

線性方程組

1．克萊姆法則

線性方程組，如果系數行列式，則方程組有唯一解，，其中是把中第列元素換成方程組右端的常數列所得的行列式。

2.?階矩陣可逆只有零解。總有唯一解，一般地，只有零解。

3.非奇次線性方程組有解的充分必要條件，線性方程組解的性質和解的結構

(1) 設為矩陣，若，則對而言必有，從而有解。

(2) 設為的解，則當時仍為的解；但當時，則為的解。特別為的解；為的解。

(3) 非齊次線性方程組無解不能由的列向量線性表示。

4.奇次線性方程組的基礎解系和通解，解空間，非奇次線性方程組的通解

(1) 齊次方程組恒有解(必有零解)。當有非零解時，由于解向量的任意線性組合仍是該齊次方程組的解向量，因此的全體解向量構成一個向量空間，稱為該方程組的解空間，解空間的維數是，解空間的一組基稱為齊次方程組的基礎解系。

(2)?是的基礎解系，即：

是的解；

線性無關；

的任一解都可以由線性表出.?是的通解，其中是任意常數。

矩陣的特征值和特征向量

1.矩陣的特征值和特征向量的概念及性質

(1) 設是的一個特征值，則?有一個特征值分別為?且對應特征向量相同（?例外）。

(2)若為的個特征值，則?,從而沒有特征值。

(3)設為的個特征值，對應特征向量為，

若:??,

則:??。

2.相似變換、相似矩陣的概念及性質

(1) 若，則

，對成立

3.矩陣可相似對角化的充分必要條件

(1)設為階方陣，則可對角化對每個重根特征值，有

(2) 設可對角化，則由有，從而

(3) 重要結論

若，則.

若，則，其中為關于階方陣的多項式。

若為可對角化矩陣，則其非零特征值的個數(重根重復計算)＝秩()

4.實對稱矩陣的特征值、特征向量及相似對角陣

(1)相似矩陣：設為兩個階方陣，如果存在一個可逆矩陣，使得成立，則稱矩陣與相似，記為。

(2)相似矩陣的性質：如果則有：

?（若，均可逆）

?（為正整數）

λλ，從而?有相同的特征值

，從而同時可逆或者不可逆

秩秩λλ，不一定相似

二次型

1.個變量的二次齊次函數

，其中，稱為元二次型，簡稱二次型. 若令,這二次型可改寫成矩陣向量形式。其中稱為二次型矩陣，因為，所以二次型矩陣均為對稱矩陣，且二次型與對稱矩陣一一對應，并把矩陣的秩稱為二次型的秩。

2.慣性定理，二次型的標準形和規范形

(1) 慣性定理

對于任一二次型，不論選取怎樣的合同變換使它化為僅含平方項的標準型，其正負慣性指數與所選變換無關，這就是所謂的慣性定理。

(2) 標準形

二次型經過合同變換化為

稱為?的標準形。在一般的數域內，二次型的標準形不是唯一的，與所作的合同變換有關，但系數不為零的平方項的個數由唯一確定。

(3) 規范形

任一實二次型都可經過合同變換化為規范形，其中為的秩，為正慣性指數，為負慣性指數，且規范型唯一。

3.用正交變換和配方法化二次型為標準形，二次型及其矩陣的正定性

設正定正定；,可逆；，且

，正定正定，但，不一定正定

正定

的各階順序主子式全大于零

的所有特征值大于零

的正慣性指數為

存在可逆陣使

存在正交矩陣，使

其中正定正定；?可逆；，且?。

關于本站

“機器學習初學者”公眾號由是黃海廣博士創建，黃博個人知乎粉絲23000+，github排名全球前110名（32000+）。本公眾號致力于人工智能方向的科普性文章，為初學者提供學習路線和基礎資料。原創作品有：吳恩達機器學習個人筆記、吳恩達深度學習筆記等。

往期精彩回顧

• 那些年做的學術公益-你不是一個人在戰斗

• 適合初學者入門人工智能的路線及資料下載

• 吳恩達機器學習課程筆記及資源（github標星12000+，提供百度云鏡像）
  

• 吳恩達深度學習筆記及視頻等資源（github標星8500+，提供百度云鏡像）

• 《統計學習方法》的python代碼實現（github標星7200+）

備注：加入本站微信群或者qq群，請回復“加群”

加入知識星球（4300+用戶，ID：92416895），請回復“知識星球”

總結

以上是生活随笔為你收集整理的在线阅读！！机器学习数学精华：线性代数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。