本文轉(zhuǎn)載自：SIGAI

本文列出的數(shù)學知識點已經(jīng)寫成了《機器學習的數(shù)學教程》，以后有機會的話可能會出版，以幫助大家學習。

在之前的公眾號文章中已經(jīng)說過，機器學習和深度學習中所用的數(shù)學知識主要來自以下幾門課：

1.高等數(shù)學/微積分

2.線性代數(shù)與矩陣論

3.概率論與信息論

4.最優(yōu)化方法

5.圖論/離散數(shù)學

除此之外，有些理論和方法可能會用到更深的數(shù)學知識，如實變函數(shù)，泛函分析，微分幾何，偏微分方程等，但對一般的方法和理論，這些知識不是必須的，因此我們可以忽略它們。對大多數(shù)人來說，沒必要為了那些不常見的方法和理論而去學這些復雜的數(shù)學知識，這會大幅度的增加學習的成本與難度。

前面所列的5門數(shù)學知識中，矩陣論，信息論，最優(yōu)化方法是國內(nèi)理工科本科生基本上沒有學過的。圖論除了計算機類的專業(yè)之外，一般也不會學。如果想全面而系統(tǒng)的學好機器學習與深度學習，補上這些數(shù)學知識是必須的。

微積分是現(xiàn)代數(shù)學的基礎，線性代數(shù)，矩陣論，概率論，信息論，最優(yōu)化方法等數(shù)學課程都需要用到微積分的知識。單就機器學習和深度學習來說，更多用到的是微分。積分基本上只在概率論中被使用，概率密度函數(shù)，分布函數(shù)等概念和計算都要借助于積分來定義或計算。

幾乎所有的機器學習算法在訓練或者預測時都是求解最優(yōu)化問題，因此需要依賴于微積分來求解函數(shù)的極值，而模型中某些函數(shù)的選取，也有數(shù)學性質(zhì)上的考量。對于機器學習而言，微積分的主要作用是：

1.求解函數(shù)的極值

2.分析函數(shù)的性質(zhì)

下面列出機器學習和深度學習中所需的微積分知識點，顯然，不是課本里所講的所有內(nèi)容都是需要的，我們只列出所必須的。

極限。極限是高等數(shù)學和初等數(shù)學的分水嶺，也是微積分這座大廈的基石，是導數(shù)、微分、積分等概念的基礎。雖然在機器學習里不直接用到極限的知識，但要理解導數(shù)和積分，它是必須的。

上確界與下確界。這一對概念對工科的微積分來說是陌生的，但在機器學習中會經(jīng)常用到，不要看到論文或書里的sup和inf不知道什么意思。

導數(shù)。其重要性眾所周知，求函數(shù)的極值需要它，分析函數(shù)的性質(zhì)需要它。典型的如梯度下降法的推導，logistic函數(shù)導數(shù)的計算。熟練地計算函數(shù)的導數(shù)是基本功。

Lipschitz連續(xù)性。這一概念在工科教材中同樣沒有提及，但對分析算法的性質(zhì)卻很有用，在GAN，深度學習算法的穩(wěn)定性、泛化性能分析中都有用武之地。

導數(shù)與函數(shù)的單調(diào)性。某些算法的推導，如神經(jīng)網(wǎng)絡的激活函數(shù)，AdaBoost算法，都需要研究函數(shù)的單調(diào)性。

導數(shù)與函數(shù)的極值。這個在機器學習中處于中心地位，大部分優(yōu)化問題都是連續(xù)優(yōu)化問題，因此可以通過求導數(shù)為0的點而求函數(shù)的極值，以實現(xiàn)最小化損失函數(shù)，最大化似然函數(shù)等目標。

導數(shù)與函數(shù)的凹凸性。在凸優(yōu)化，Jensen不等式的證明中都有它的應用。

泰勒公式。又一個核心知識點。在優(yōu)化算法中廣泛使用，從梯度下降法，牛頓法，擬牛頓法，到AdaBoost算法，梯度提升算法，XGBoost的推導都離不開它。

不定積分。積分在機器學習中使用的相對較少，主要用于概率的計算中，它是定積分的基礎。

定積分。包括廣義積分，被用于概率論的計算中。機器學習中很大一類算法是概率型算法，如貝葉斯分類器，概率圖模型，變分推斷等。這些地方都涉及到對概率密度函數(shù)進行積分。

變上限積分。分布函數(shù)是典型的變上線積分函數(shù)，同樣主要用于概率計算中。

牛頓-萊布尼茲公式。在機器學習中很少直接使用，但它是微積分中最重要的公式之一，為定積分的計算提供了依據(jù)。

常微分方程。在某些論文中會使用，但一般算法用不到。

偏導數(shù)。重要性不用多說，機器學習里絕大部分函數(shù)都是多元函數(shù)，要求其極值，偏導數(shù)是繞不開的。

梯度。決定了多元函數(shù)的單調(diào)性和極值，梯度下降法的推導離不開它。幾乎所有連續(xù)優(yōu)化算法都需要計算函數(shù)的梯度值，且以尋找梯度為0的點作為目標。

高階偏導數(shù)。確定函數(shù)的極值離不開它，光有梯度值還無法確定函數(shù)的極值。

鏈式法則。同樣使用廣泛，各種神經(jīng)網(wǎng)絡的反向傳播算法都依賴于鏈式法則。

Hessian矩陣。決定了函數(shù)的極值和凹凸性，對使用工科教材的同學可能是陌生的。

多元函數(shù)的極值判別法則。雖然不直接使用，但對理解最優(yōu)化方法至關重要。

多元函數(shù)的凹凸性判別法則。證明一個問題是凸優(yōu)化問題是離不開它的。

Jacobian矩陣。工科教材一般沒有介紹這一概念，但和Hessian矩陣一樣，并不難理解，使用它可以簡化多元復合函數(shù)的求導公式，在反向傳播算法中廣泛使用。

向量與矩陣求導。常見的一次函數(shù)，二次函數(shù)的梯度，Hessian矩陣的計算公式要爛熟于心，推導并不復雜。

泰勒公式。理解梯度下降法，牛頓法的優(yōu)化算法的基石。

多重積分。主要用于概率論中，計算隨機向量的積分，如正態(tài)分布。

偏微分方程。在某些理論推導中可能會使用，如變分法中的歐拉-拉格朗日方程。

相對于微積分，線性代數(shù)似乎用的更多，而且有一部分屬于矩陣論/矩陣分析的范疇，超出了工科線性代數(shù)教材的范圍。下面列出線性代數(shù)和矩陣論的常用知識點。

向量及其運算。機器學習算法的輸入很多時候是向量，如樣本的特征向量。因此熟練掌握向量以及常用的運算是理解機器學習的基礎。

矩陣及其運算。與向量一樣，是線性代數(shù)的核心概念，各種運算，常用矩陣，必須爛熟于心。

行列式。直接使用的少，在概率論，某些模型的推導中偶爾使用。

線性方程組。直接使用的少，但這是線性代數(shù)的核心內(nèi)容。

特征值與特征向量。在機器學習中被廣泛使用，很多問題最后歸結于求解矩陣的特征值和特征向量。如流形學習，譜聚類，線性判別分析，主成分分析等。

廣義特征值。工科線性代數(shù)教材一般不提及此概念，但在流形學習，譜聚類等算法中經(jīng)常用到它。

Rayleigh商。工科教材一般不提及它。在某些算法的推導過程中會用到，如線性判別分析。

矩陣的譜范數(shù)與條件數(shù)。工科教材一般不提及它。在某些算法的分析中會用到它，它刻畫了矩陣的重要性質(zhì)。

二次型。很多目標函數(shù)是二次函數(shù)，因此二次型的地位不言而喻。

Cholesky分解。某些算法的推導中會用到它，工科教材一般不提及它。

特征值分解。對機器學習非常重要，很多問題最后歸結于特征值分解，如主成分分析，線性判別分析等。

奇異值分解。在機器學習中廣泛使用，從正態(tài)貝葉斯分類器，到主題模型等，都有它的影子。

概率論與信息論在機器學習中用得非常多。概率論的知識，一般不超出工科教材的范疇。而信息論是很多同學沒有學過的，不過只要你理解了微積分和概率論，理解這些概念并不是難事。下面列出常用的概率論與信息論知識點。

隨機事件與概率。這是理解隨機變量的基礎，也是概率論中最基本的知識。

條件概率與獨立性。條件概率非常重要，在機器學習中，只要有概率模型的地方，通常離不開它。獨立性在很多地方也被使用，如概率論圖模型。

條件獨立。在概率論圖模型中廣泛使用，一定要理解它。

全概率公式。基礎公式，地位不用多說。

貝葉斯公式。在機器學習的概率型算法中處于靈魂地位，幾乎所有生成模型都要用到它。

離散型隨機變量與連續(xù)型隨機變量。重要性不用多說，概率質(zhì)量函數(shù)，概率密度函數(shù)，分布函數(shù)，一定要熟練掌握。

數(shù)學期望。非常重要，好多地方都有它的影子。

方差與標準差。非常重要，刻畫概率分布的重要指標。

Jensen不等式。在很多推導和證明中都要用它，如EM算法，變分推斷。

常用的概率分布，包括均勻分布，正態(tài)分布，伯努利分布，二項分布，多項分布，t分布等，在各種機器學習算法中廣泛使用。

隨機向量。多元的隨機變量，在實際中更有用。

協(xié)方差。經(jīng)常使用的一個概念，如主成分分析，多元正態(tài)分布中。

參數(shù)估計。包括最大似然估計，最大后驗概率估計，貝葉斯估計，核密度估計，一定要弄清楚它們是怎么回事。

隨機算法，包括采樣算法，遺傳算法，蒙特卡洛算法，在機器學習中也經(jīng)常使用。

信息論中的一些概念，包括熵，交叉熵，KL散度，JS散度，互信息，信息增益，一定要深刻理解這些概念。如果你不理解KL散度，那怎么理解變分推斷和VAE？

前面已經(jīng)說過，最優(yōu)化方法是機器學習的靈魂，用于確定模型的參數(shù)或預測結果。不幸的是，工科專業(yè)一般沒有學過這門課。不過只要你理解了微積分和線性代數(shù)，并不難推導出這些算法。下面列出常用的最優(yōu)化方法知識點：

梯度下降法。最簡單的優(yōu)化算法，但卻很有用，尤其在深度學習中。

隨機梯度下降法。在深度學習中的重要性婦孺皆知。

最速下降法。梯度下降法的改進型，是理解梯度提升等算法的基礎。

梯度下降法的改進型。如AdaGrad，AdaDelta，Adam等，使用深度學習開源庫的時候經(jīng)常會看到這些名字。

牛頓法。二階優(yōu)化算法的典型代表，只是在深度學習中用的少。在logistic回歸等算法的訓練中會用到它。

擬牛頓法。牛頓法的改進，在條件隨機場等模型的訓練中會用到L-BFGS等算法。

坐標下降法。在logistic回歸等模型的訓練中會用到它，不難理解。

凸優(yōu)化。最優(yōu)化中的核心概念之一，如果一個問題被證明為凸優(yōu)化問題，恭喜你，它基本上可以較好的解決。

拉格朗日乘數(shù)法。在各種算分的推導中經(jīng)常使用，如主成分分析，線性判別分析等，如果不熟練掌握它，你將非常艱難。

KKT條件。拉格朗日乘數(shù)法擴展到帶不等式約束后的版本，在SVM的推導中將會使用。

拉格朗日對偶。不太好理解的知識點，在SVM的推導中經(jīng)常用到，不過套公式并不難。

多目標優(yōu)化。一般很少使用，在多目標NAS中會使用它，如帕累托最優(yōu)等概念。

變分法。用于求解泛函的極值，在某些理論推導中會用到它，如通過變分法可以證明在均值和方差一定的情況下，正態(tài)分布的熵最大。變分推斷中也會用到此概念。如果熟練的掌握了微積分，推導出歐拉-拉格朗日方程并不困難。

機器學習中的某些問題可以用圖論的方法解決，如流形學習，譜聚類。某些算法的表達也可能用到圖論的知識，如深度學習中的計算圖，NAS中的網(wǎng)絡拓撲結構圖。概率圖模型讓很多初學者談虎色變，它是圖論與概率論的完美結合。下面介紹常用的圖論知識點。

圖的基本概念，如頂點，邊，有向圖，無向圖等。

鄰接矩陣與加權度矩陣，圖論中的核心概念，邊一般都帶有權重的。

某些特殊的圖，如二部圖，有向無環(huán)圖等，在深度學習中經(jīng)常會用到他們。

最短路徑問題。經(jīng)典的Dijkstra算法是每個程序員必須掌握的。

拉普拉斯矩陣和歸一化拉普拉斯矩陣。比較難理解的概念，機器學習中的很多算法，如流形學習，使用圖論的半監(jiān)督學習，譜聚類都離不開它。理解這個矩陣和它的性質(zhì)，是理解這些算法的基礎。