1、損失函數loss

???????? 用于定義網絡輸出結果與正確結果之間的誤差的函數，常用損失函數為均方差（MSE）和交叉熵（Cross Entropy）。一般均方差用于回歸問題，交叉熵用于分類問題。

2、梯度

???????? 梯度下降：讓損失函數沿著負梯度方向更新神經網絡參數，使得損失函數不斷減小，達到優化網絡模型的目的。梯度下降方法有全局梯度下降、隨機梯度下降和小批量梯度下降，常用小批量梯度下降方法。

???????? 梯度消失：神經網絡訓練過程中，loss非常小，導致參數難以更新，即梯度消失問題。

???????? 梯度爆炸：神經網絡訓練過程中，參數更新不起作用，loss無法收斂，即梯度消失爆炸問題。

3、反向傳播

???????? 誤差是從輸入層-隱藏層-輸出層逐漸積累的，通過反向傳播對每一層誤差進行展開。使用鏈式法則逐層求導，求出目標函數對各神經元權值的偏導數，進行參數更新。

4、激活函數

???????? 激活函數將非線性特征引入可神經網絡，讓模型可以更好的擬合復雜的非線性問題。常見激活函數有sigmoid、tanh、relu、leakyrelu、softmax等。sigmoid出現較早，常用于二分類問題，但容易出現梯度消失問題；深度學習中常用relu作為激活函數，relu計算量小，同時可避免出現梯度消失問題；softmax函數可將任意實數向量映射到（0,1）之間，且總和為1，可用于表示每個類別的概率，因此常用于多分類問題輸出層。

5、正則化

???????? 正則化用于在深度學習中為防止過擬合，減少泛化誤差。常用的正則化方法包括：參數約束（限制模型學習能力，L1、L2范數）、數據增強（訓練數據添加噪聲等）、Dropout、早停法（earlystopping）等。

6、優化器

???????? 在模型訓練過程中優化器用于加快算法收斂速度，避免局部極值，減少超參設置等。常見的優化器有動量優化器、Adam、Adagrid等，常用優化器Adam。

7、過擬合

???????? 模型在訓練集上表現優異，但在測試集表現不理想。造成的原因可能有訓練數據太少，噪聲過多，模型參數過多、訓練過度等。可以通過數據增強、限制訓練次數（earlystopping）、降低參數（Dropout）等方法解決。

8、不同類型神經網絡

???????? 卷積神經網絡（CNN）：包括卷積層、池化層、全連接層，主要用于視覺方向。卷積層用于特征提取，池化層進行重采樣增加感受野，全連接層將卷積層和池化層提取的特征進行分類。卷積神經網絡主要用于圖像分類，目標檢測、分割等場景。

???????? 循環神經網絡（RNN）：是一種通過隱藏層節點周期性連接，捕捉序列化數據中動態信息，對序列化數據進行分類的神經網絡。RNN?????? 可應用于視頻、音頻、文本分類等場景。

???????? 長短記憶網絡（LSTM）:解決RNN對長時間記憶信息衰減問題。

???????? 生成對抗網絡（GAN）：由生成器和判別器構成，通過對抗過程訓練生成器和判別器，使得判別器最終無法區分真實樣本和偽造樣本。生成對抗網絡可用于圖像生成、語義分割、數據增強等場景。

總結

以上是生活随笔為你收集整理的深度学习常见概念解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。