Soft-Clipping Swish激活函數

論文：Soft-Clipping Swish: A Novel Activation Function for Deep Learning

年份：2021

該激活函數稱為Soft-Clipping Swish (SC Swish)。受到Swish函數的啟發，將Swish變為一個閾值函數，這意味著對于負輸入，輸入變成0；而正輸入，激活函數變成Swish。它非常類似于ReLU函數，改進后的正區域增加了非線性。
Soft-Clipping激活函數為：
$$f(x)=SoftClipping(x)=\frac{1}{\alpha }log(\frac{1+e^{\alpha x}}{1+e^{\alpha (x?1)}}),\alpha >0$$
Soft-Clipping的曲線如下圖

從Soft Clipping開始，獲得到SC Swish激活函數具體定義如下：
$$Swish(x)=x?Sigmoid(x)=x?\frac{1}{1+e^{?x}}$$
$$f(x)=\max (0,Swish(x))=\max (0,x?\frac{1}{1+e^{?x}})$$
具體的函數的曲線如下圖\ref{fig:SCSwishs}所示。

該函數SC_Swish是一個連續函數，非單調，上下無界函數。

總結

以上是生活随笔為你收集整理的Soft-Clipping Swish激活函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。