歸一化 Normalization

歸一化一般是將數據映射到指定的范圍，用于去除不同維度數據的量綱以及量綱單位。
常見的映射范圍有 [0, 1] 和 [-1, 1] ，最常見的歸一化方法就是 Min-Max 歸一化：

舉個例子，我們判斷一個人的身體狀況是否健康，那么我們會采集人體的很多指標，比如說：身高、體重、紅細胞數量、白細胞數量等。
一個人身高 180cm，體重 70kg，白細胞計數 [公式] ，etc.
衡量兩個人的狀況時，白細胞計數就會起到主導作用從而遮蓋住其他的特征，歸一化后就不會有這樣的問題。

###標準化 Normalization

歸一化和標準化的英文翻譯是一致的，但是根據其用途（或公式）的不同去理解（或翻譯）

下面我們將探討最常見的標準化方法： Z-Score 標準化。


機器學習的目標無非就是不斷優化損失函數，使其值最小。在上圖中， [公式] 就是我們要優化的目標函數

我們不難看出，標準化后可以更加容易地得出最優參數 [公式] 和 [公式] 以及計算出 [公式] 的最小值，從而達到加速收斂的效果。 [公式]

注：上圖來源于 Andrew Ng 的課程講義

正則化 Regularization

正則化主要用于避免過擬合的產生和減少網絡誤差。
正則化是指為解決適定性問題或過擬合而加入額外信息的過程，常用的額外項一般有兩種，一般英文稱作 $l_1?norm$ 和$l_2?norm$，中文稱作 L1正則化 和 L2正則化，或者 L1范數 和 L2范數。
L1正則化和L2正則化可以看做是損失函數的懲罰項。所謂『懲罰』是指對損失函數中的某些參數做一些限制。對于線性回歸模型，使用L1正則化的模型建叫做Lasso回歸，使用L2正則化的模型叫做Ridge回歸（嶺回歸）。
正則化一般具有如下形式：

其中，第 1 項是經驗風險，第 2 項是正則項， [公式] 為調整兩者之間關系的系數。
第 1 項的經驗風險較小的模型可能較復雜（有多個非零參數），這時第 2 項的模型復雜度會較大。
下面是Lasso回歸的損失函數，式中加號后面一項$\alpha \mid \mid w\mid {\mid }_1$即為L1正則化項。
Lasso的優化目標為：

下面是Ridge回歸的損失函數，式中加號后面一項$\alpha \mid \mid w\mid {\mid }_2^2$即為L2正則化項。

Ridge Regression的優化目標為：

一般回歸分析中$w$表示特征的系數，從上式可以看到正則化項是對系數做了處理（限制）。L1正則化和L2正則化的說明如下：
L1正則化是指權值向量$w$中各個元素的絕對值之和，通常表示為$\mid \mid w\mid {\mid }_1$
?L2正則化是指權值向量$w$中各個元素的平方和然后再求平方根（可以看到Ridge回歸的L2正則化項有平方符號），通常表示為$\mid \mid w\mid {\mid }_2^2$
一般都會在正則化項之前添加一個系數，Python的機器學習包sklearn中用$\alpha$表示，一些文章也用$\lambda$表示。這個系數需要用戶指定。

那添加L1和L2正則化有什么用？
L1正則化可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用于特征選擇
L2正則化可以防止模型過擬合（overfitting）；一定程度上，L1也可以防止過擬合
————————————————
原文鏈接：https://zhuanlan.zhihu.com/p/29957294
https://blog.csdn.net/jinping_shi/article/details/52433975

總結

以上是生活随笔為你收集整理的归一化、标准化和正则化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。