DataScience：深入探討與分析機器學習中的數(shù)據(jù)處理之非線性變換—log對數(shù)變換、sigmoid/softmax變換

?

?

?

目錄

深入探討與分析機器學習中的數(shù)據(jù)處理之非線性變換

log對數(shù)變換

sigmoid/softmax變換

Sigmoid函數(shù)

Softmax函數(shù)

---

?

?

相關文章
DataScience：深入探討與分析機器學習中的數(shù)據(jù)處理之線性變換—標準化standardization、歸一化Normalization/比例化Scaling的區(qū)別與聯(lián)系
DataScience：深入探討與分析機器學習中的數(shù)據(jù)處理之非線性變換—log對數(shù)變換、sigmoid/softmax變換

?

?

深入探討與分析機器學習中的數(shù)據(jù)處理之非線性變換

log對數(shù)變換

? ? ? ? ?如果a(a>0，且a≠1)的b次冪等于N，即ab=N，那么數(shù)b叫做以a為底N的對數(shù)，記作logaN=b（其中a叫做對數(shù)的底數(shù)，N叫做真數(shù)），這就是對數(shù)變換。

?

?

sigmoid/softmax變換

參考文章：DL之AF：機器學習/深度學習中常用的激活函數(shù)(sigmoid、softmax等)簡介、應用、計算圖實現(xiàn)、代碼實現(xiàn)詳細攻略

Sigmoid函數(shù)

? ? ? ?Sigmoid函數(shù)是一個在生物學中常見的S型函數(shù)，也稱為S型生長曲線。?[1]??在信息科學中，由于其單增以及反函數(shù)單增等性質，Sigmoid函數(shù)常被用作神經(jīng)網(wǎng)絡的激活函數(shù)，將變量映射到0,1之間。

• 優(yōu)點：平滑、易于求導。
• 缺點：激活函數(shù)計算量大，反向傳播求誤差梯度時，求導涉及除法；反向傳播時，很容易就會出現(xiàn)梯度消失的情況，從而無法完成深層網(wǎng)絡的訓練。
• ?

Softmax函數(shù)

? ? ? ?在數(shù)學，尤其是概率論和相關領域中，歸一化指數(shù)函數(shù)，或稱Softmax函數(shù)，是邏輯函數(shù)的一種推廣。它能將一個含任意實數(shù)的K維向量z“壓縮”到另一個K維實向量σ(z)中，使得每一個元素的范圍都在(0,1)之間，并且所有元素的和為1。該函數(shù)多于多分類問題中。

import mathz = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]z_exp = [math.exp(i) for i in z] print(z_exp) # Result: [2.72, 7.39, 20.09, 54.6, 2.72, 7.39, 20.09] sum_z_exp = sum(z_exp) print(sum_z_exp) # Result: 114.98 # Result: [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]softmax = [round(i / sum_z_exp, 3) for i in z_exp] print(softmax)

?

?

?

?

總結

以上是生活随笔為你收集整理的DataScience：深入探讨与分析机器学习中的数据处理之非线性变换—log对数变换、sigmoid/softmax变换的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。