我們都知道softmax公式如下：

但有些softmax公式是先將每個x_i減去x中的最大值再代入以上公式

原因是為了防止上溢和下溢

舉個例子，x=[100000,100001,100002],如果直接代入上式數(shù)值會非常大，當(dāng)對每個x的值減去x中的最大值后得到[-2,-1,0]，此時再代入上式

總結(jié)

以上是生活随笔為你收集整理的为什么有些softmax公式需要减去输入中的最大值的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。