AI基础：简易数学入门
0.導語
學習AI建議掌握的數學資料：
數學分析（微積分），線性代數，概率論，統計，應用統計，數值分析，常微分方程，偏微分方程，數值偏微分方程，運籌學，離散數學，隨機過程，隨機偏微分方程，抽象代數，實變函數，泛函分析，復變函數，數學建模，拓撲，微分幾何，漸近分析......
可以勸退了……
其實，絕大部分AI愛好者，對數學的要求沒有那么高，只需要學習高等數學、線性代數、概率論與數理統計三門課，如果時間還不夠，那看下本文我整理的必須掌握的部分。看不懂公式的時候，可以查下本文，大部分能找到是什么意思。
我最近在編寫AI基礎系列，數學是所有的基礎。可以說，數學基礎是機器學習從業人員的天花板。博士的代碼能力，不一定比碩士強，但數學基礎，往往要比碩士扎實很多。為什么機器學習從業人員學歷越高，往往工資越高，通常和掌握的基礎知識正相關。有時間，一定要認真打基礎！！（黃海廣）
目前已經發布：
AI 基礎：Python開發環境設置和小技巧
AI 基礎：Python 簡易入門
AI 基礎：Numpy 簡易入門
AI 基礎：Pandas 簡易入門
AI 基礎：Scipy(科學計算庫) 簡易入門
AI基礎：數據可視化簡易入門（matplotlib和seaborn）
AI基礎：特征工程-類別特征
AI基礎：特征工程-數字特征處理
AI基礎：特征工程-文本特征處理
AI基礎：詞嵌入基礎和Word2Vec
AI基礎：圖解Transformer
AI基礎：一文看懂BERT
后續持續更新
本文節選自我的github里的內容，基本滿足要求了，如果完整資料也可以在github下載：
https://github.com/fengdu78/Data-Science-Notes
高等數學
必須掌握導數和微分的概念
導數和微分的概念
? ? （1）
或者：
? ? ? ? ? ?（2）
四則運算法則
設函數，]在點可導則：
(1)?
(2)
基本導數與微分表
(1)?（常數）
(2)?(為實數)
(3)?
特例: ??
(4)?
特例:
(5)?
復合函數，反函數，隱函數以及參數方程所確定的函數的微分法
(1) 反函數的運算法則:
設在點的某鄰域內單調連續，在點處可導且，則其反函數在點所對應的處可導，并且有
(2) 復合函數的運算法則:
若在點可導,而在對應點()可導,則復合函數在點可導,且
(3) 隱函數導數的求法一般有三種方法：
1)方程兩邊對求導，要記住是的函數，則的函數是的復合函數.例如，，，等均是的復合函數.
對求導應按復合函數連鎖法則做.
2)公式法.由知?,其中，，?分別表示對和的偏導數
3)利用微分形式不變性
泰勒公式
設函數在點處的某鄰域內具有階導數，則對該鄰域內異于的任意點，在與之間至少存在 一個，使得：???其中?稱為在點處的階泰勒余項。
令，則階泰勒公式?……(1)
其中?，在0與之間.(1)式稱為麥克勞林公式
常用五種函數在處的泰勒公式
(1)?
或?
(2)?
或 ?
(3)?
或 ??
(4)?
或 ? ? ?
(5)??
或??
線性代數
矩陣
矩陣：個數排成行列的表格?稱為矩陣，簡記為，或者?。若，則稱是階矩陣或階方陣。
矩陣的線性運算
1.矩陣的加法
設是兩個矩陣，則?矩陣稱為矩陣與的和，記為?。
2.矩陣的數乘
設是矩陣，是一個常數，則矩陣稱為數與矩陣的數乘，記為。
3.矩陣的乘法
設是矩陣，是矩陣，那么矩陣，其中稱為的乘積，記為?。
4.?、、三者之間的關系
(1)?
(2)?
但?不一定成立。
(3)?，?
但不一定成立。
(4)?
5.有關矩陣秩的結論
(1) 秩=行秩=列秩；
(2)?
(3)?；
(4)?
(5) 初等變換不改變矩陣的秩
(6)?特別若?則：
(7) 若存在?若存在?
若?若。
(8)?只有零解
向量
1.有關向量組的線性表示
(1)線性相關至少有一個向量可以用其余向量線性表示。
(2)線性無關，，線性相關可以由唯一線性表示。
(3)?可以由線性表示??。
2.有關向量組的線性相關性
(1)部分相關，整體相關；整體無關，部分無關.
(2) ①?個維向量?線性無關，?個維向量線性相關??。
②?個維向量線性相關。
③ 若線性無關，則添加分量后仍線性無關；或一組向量線性相關，去掉某些分量后仍線性相關。
3.有關向量組的線性表示
(1)?線性相關至少有一個向量可以用其余向量線性表示。
(2)?線性無關，，線性相關?可以由唯一線性表示。
(3)?可以由線性表示?
4.向量組的秩與矩陣的秩之間的關系
設，則的秩與的行列向量組的線性相關性關系為：
(1) 若，則的行向量組線性無關。
(2) 若，則的行向量組線性相關。
(3) 若，則的列向量組線性無關。
(4) 若，則的列向量組線性相關。
5.維向量空間的基變換公式及過渡矩陣
若與是向量空間的兩組基，則基變換公式為：
其中是可逆矩陣，稱為由基到基的過渡矩陣。
6.坐標變換公式
若向量在基與基的坐標分別是?，
?即：?，則向量坐標變換公式為?或，其中是從基到基的過渡矩陣。
7.向量的內積
概率論和數理統計
1.事件的關系與運算
(1) 子事件：，若發生，則發生。
(2) 相等事件：，即，且?。
(3) 和事件：（或），與中至少有一個發生。
(4) 差事件：，發生但不發生。
(5) 積事件：（或），與同時發生。
(6) 互斥事件（互不相容）：=。
(7) 互逆事件（對立事件）：?
2.運算律
(1) 交換律：
(2) 結合律：
(3) 分配律：
3.德摩根律
4.完全事件組
兩兩互斥，且和事件為必然事件，即
5.概率的基本公式
(1)條件概率:
,表示發生的條件下，發生的概率。
(2)全概率公式：
(3) Bayes公式：
?注：上述公式中事件的個數可為可列個。
(4)乘法公式：
?
6.事件的獨立性
(1)與相互獨立
(2)，，兩兩獨立
;?;;
(3)，，相互獨立
;
??;?? ; ??
7.獨立重復試驗
將某試驗獨立重復次，若每次實驗中事件A發生的概率為，則次試驗中發生次的概率為：?
8.重要公式與結論
?
?
(5)條件概率滿足概率的所有性質，
例如：
(6)若相互獨立，則?
(7)互斥、互逆與獨立性之間的關系：
與互逆?與互斥，但反之不成立，與互斥（或互逆）且均非零概率事件與不獨立.
(8)若相互獨立，則與也相互獨立，其中分別表示對相應事件做任意事件運算后所得的事件，另外，概率為1（或0）的事件與任何事件相互獨立。
機器學習的常見推導
邏輯回歸
邏輯回歸代價函數：
即：?
推導過程：
考慮：
則：
所以：
?
注：雖然得到的梯度下降算法表面上看上去與線性回歸的梯度下降算法一樣，但是這里的與線性回歸中不同，所以實際上是不一樣的。另外，在運行梯度下降算法之前，進行特征縮放依舊是非常必要的。
最小二乘法
需要用到的性質：
?(如果是對稱陣)
? (如果是對稱陣)
假設我們得到矩陣（為了簡單起見，我們假設是滿秩）和向量，從而使。在這種情況下，我們將無法找到向量，由于，因此我們想要找到一個向量，使得盡可能接近?，用歐幾里德范數的平方來衡量。
使用公式“，我們可以得到：
根據的梯度，并利用上面推導的性質：
將最后一個表達式設置為零，然后解出，得到了正規方程：
結語
本文節選自我的github里的內容，基本能滿足要求了，如果需要完整資料可以在我的github下載：
https://github.com/fengdu78/Data-Science-Notes
備注：公眾號菜單包含了整理了一本AI小抄，非常適合在通勤路上用學習。
往期精彩回顧 那些年做的學術公益-你不是一個人在戰斗適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊備注：加入本站微信群或者qq群，請回復“加群”加入知識星球（4500+用戶，ID：92416895），請回復“知識星球”喜歡文章，點個在看
總結
以上是生活随笔為你收集整理的AI基础：简易数学入门的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 首发：徐亦达教授团队最新发表的两篇机器学
- 下一篇： 当一个程序员真正掌握算法之后，会变得有多