本文主要講了什么是擠壓型函數(shù)以及擠壓型函數(shù)的作用，以及l(fā)ogistic函數(shù)

?

目錄

第一步：這一類函數(shù)的特點

第二步：logistic函數(shù)

Logistic函數(shù)的優(yōu)缺點

---

第一步：這一類函數(shù)的特點

---

當輸入值域的絕對值較大的時候，其輸出在兩端是飽和的，都具有S形的函數(shù)曲線以及壓縮輸入值域的作用，所以叫擠壓型激活函數(shù)，又可以叫飽和型激活函數(shù)。

通常用Sigmoid 來表示，原意是S型的曲線，在數(shù)學中是指一類具有壓縮作用的S型的函數(shù)，在神經(jīng)網(wǎng)絡中，有兩個常用的 Sigmoid 函數(shù)，一個是 Logistic 函數(shù)，另一個是Tanh 函數(shù)。

本系列中的約定

Sigmoid ：指????????對數(shù)幾率函數(shù)????????用于激活函數(shù)時的稱呼；

Logistic ：指????????對數(shù)幾率函數(shù)????????用于二分類函數(shù)時的稱呼；

Tanh ：指????????雙曲正切函數(shù)????????用于激活函數(shù)時的稱呼。

在二分類任務中最后一層使用的對率函數(shù)與在神經(jīng)網(wǎng)絡層與層之間連接的Sigmoid激活函數(shù)，是同樣的形式。所以它既是激活函數(shù)，又是分類函數(shù)，是個特例。

第二步：logistic函數(shù)

---

?

定義域和值域:

輸入定義域：(-∞,∞)；

函數(shù)輸出域：(0,1)；

導函數(shù)輸出域：（0，0.25）

Logistic函數(shù)的優(yōu)缺點

---

優(yōu)點

從函數(shù)圖像來看， Sigmoid 函數(shù)的作用是將輸入壓縮到 (0, 1) 這個區(qū)間范圍內(nèi)，這種輸出在(0, 1) 間的函數(shù)可以用來模擬一些概率分布的情況，還是一個連續(xù)函數(shù)，導數(shù)簡單易求。

從數(shù)學上來看， Sigmoid 函數(shù)對中央?yún)^(qū)的信號增益較大，對兩側(cè)區(qū)的信號增益小，在信號的特征空間映射上，有很好的效果。

從神經(jīng)科學上來看，中央?yún)^(qū)酷似神經(jīng)元的興奮態(tài)，兩側(cè)區(qū)酷似神經(jīng)元的抑制態(tài)，因而在神經(jīng)網(wǎng)絡學習方面，可以將重點特征推向中央?yún)^(qū)， 將非重點特征推向兩側(cè)區(qū)。

缺點

指數(shù)計算代價大。

反向傳播時梯度消失。

總結(jié)

以上是生活随笔為你收集整理的logistic挤压型激活函数（机器学习）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。