在神經(jīng)網(wǎng)絡(luò)中，經(jīng)常用到sigmoid函數(shù)，y = 1 / (1+e^-x)

作為下一級(jí)神經(jīng)元的激活函數(shù)，x也就是WX（下文，W以θ符號(hào)代替）矩陣計(jì)算結(jié)果。

這個(gè)函數(shù)通常用在進(jìn)行分類，通常分為1或0的邏輯分類，所以又叫l(wèi)ogistic回歸。

常規(guī)常規(guī)情況下，我們使用的損失函數(shù)是 j(θ) = 1 / 2n * ∑(h_θ(x) - y) ，?h_θ(x)??也就是激活函數(shù)(或hypothesis函數(shù))，y是樣本結(jié)果數(shù)據(jù)。在大部分情況下，這是通用的。以向量來(lái)看，空間點(diǎn)H_θ(x)和Y距離最小化。

但是，由于sigmoid函數(shù)是非線性的，所以用以上損失函數(shù)，求偏導(dǎo)后，得到的?j(θ)只能是局部最小值（左圖），得不到真正的最小值。

?

?

因此，在logistic回歸中，最優(yōu)的損失函數(shù)，應(yīng)該是：

y是指樣本值。（也即是損失函數(shù)和y的關(guān)系，不再是直接減去y(樣本目標(biāo)值)）

圖像：

當(dāng)y=0時(shí)，如果H_θ(x)越接近0，那么損失越小。也就是說(shuō)，只要偏導(dǎo)數(shù)為0，反向傳播時(shí)依然往最小值方向（而非局部最小值）

如果y=0，但是H_θ(x)不接近0，甚至于大于1，那么損失就非常巨大，那么可以造成反響傳播時(shí)，修改原θ值就越大了。

連個(gè)曲線合并，就是J = y * log(x) + (1 - y) * log (1 - x)，y的取值只能為0或1

整個(gè)損失函數(shù)簡(jiǎn)化后，得到：

?（此函數(shù)，又叫交叉熵函數(shù)）

θ其實(shí)也即是權(quán)，或參數(shù)值。

總的來(lái)說(shuō)，根據(jù)學(xué)習(xí)的結(jié)果類型（是0或1類型，還是數(shù)值類型），選擇合適的激活函數(shù)，同時(shí)，也要有對(duì)應(yīng)的損失函數(shù)，才能得到最佳效果。

轉(zhuǎn)載于:https://www.cnblogs.com/pylblog/p/10808665.html

總結(jié)

以上是生活随笔為你收集整理的有关logistic(sigmoid)函数回归的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。