論文鏈接：
https://www.aminer.cn/pub/6189e6d15244ab9dcb76ebc9?f=cs
神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的支柱。激活函數(shù)是神經(jīng)網(wǎng)絡(luò)的大腦，在深度神經(jīng)網(wǎng)絡(luò)的有效性和訓(xùn)練中起著核心作用。ReLU由于其簡(jiǎn)單性而成為深度學(xué)習(xí)領(lǐng)域的常用選擇。盡管它很簡(jiǎn)單，但ReLU有一個(gè)主要的缺點(diǎn)，即ReLU死亡問(wèn)題，在這種情況下，多達(dá)50%的神經(jīng)元在網(wǎng)絡(luò)訓(xùn)練期間死亡。
為了克服ReLU的不足，近年來(lái)提出了大量的激活方法，其中Leaky ReLU、Parametric ReLU 、ELU、Softplus、隨機(jī)化Leaky ReLU是其中的幾種，它們?cè)谝欢ǔ潭壬细纳屏薘eLU的性能。
Swish是谷歌腦組提出的非線性激活函數(shù)，對(duì)ReLU有一定的改善；GELU是另一種常用的平滑激活函數(shù)。可以看出，Swish和GELU都是ReLU的光滑近似。近年來(lái)，人們提出了一些提高ReLU、Swish或GELU性能的非線性激活方法，其中一些是ReLU或Leaky ReLU的光滑逼近方法，還有TanhSoft、EIS、Padé激活單元、正交Padé激活單元、Mish、ErfAct等。
maximum function在原點(diǎn)處是非光滑的。在本文中，作者將探討maximum function的平滑逼近如何影響網(wǎng)絡(luò)的訓(xùn)練和性能。
AMiner,讓AI幫你理解科學(xué)！https://www.aminer.cn

總結(jié)

以上是生活随笔為你收集整理的AMiner推荐论文：SMU: smooth activation function for deep networks using smoothing maximum technique的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。