softmax 函數(shù)
softmax(柔性最大值)函數(shù)，一般在神經(jīng)網(wǎng)絡(luò)中， softmax可以作為分類任務(wù)的輸出層。

其實(shí)可以認(rèn)為softmax輸出的是幾個(gè)類別選擇的概率，比如我有一個(gè)分類任務(wù)，要分為三個(gè)類，softmax函數(shù)可以根據(jù)它們相對的大小，輸出三個(gè)類別選取的概率，并且概率和為1。

即總共有$k$類,必有:
$$\sum _{k=1}^C{y}_i=1$$

為了方便下面的推導(dǎo)，先來個(gè)圖示：

----------------------------------------
softmax函數(shù)的公式是這種形式：
$$a_i=\frac{e^{z_i}}{{\sum }_k^{e^{z_k}}}$$

其中：
$w_{ij}$:第$i$個(gè)神經(jīng)元的第$j$個(gè)權(quán)重，
b:偏移值。
$z_i$:該網(wǎng)絡(luò)的第$i$個(gè)輸出。

在$z_i$后面施加softmax函數(shù),得到$a_i$

損失函數(shù)使用Cross_Entropy
----------------------------------------
$$J=?\sum _i{y}_{i}ln{a}_i$$
其中：
$a_i$:模型預(yù)測值
$y_i$:預(yù)期數(shù)值

當(dāng)二分類時(shí),有

$$\frac{1}{N}\sum _{n=1}^N[p_{n}log{q}_n+(1?p_n)log(1?q_n)]$$
其中：
$N$:數(shù)據(jù)集的總數(shù)
$p_n$:真實(shí)分布
$q_n$:預(yù)測分布
----------------------------------------------

這篇博客中，我們的目標(biāo)函數(shù)是：
$$\frac{?J}{?z_i}$$
$$＝\sum _j(\frac{?J_j}{?a_j}\frac{?a_j}{?z_i})$$

其中：
$$\frac{?J_j}{?a_j}$$
$$=?\frac{?y_j?ln{a}_j}{?a_j}$$
$$=?y_j\frac{1}{a_j}$$

$$\frac{?a_j}{?z_i}$$
$$=\frac{?[\frac{e^{z_j}}{{\sum }_k{e}^{z_k}}]}{?z_i}$$

下面分情況，這里之所以要分情況是求導(dǎo)的規(guī)律來決定的：

$$\frac{?[\frac{e^{z_j}}{{\sum }_k{e}^{z_k}}]}{?z_i}(1)$$
為了處理式(1)，根據(jù)：
$f(x)=\frac{g(x)}{h(x)}$
$$f^{\prime }(x)=\frac{g^{\prime }(x)h(x)?g(x)h^{\prime }(x)}{|h(x){|}^2}$$

所以這里：
$g(x)=e^{z_j}$
$h(x)={\sum }_k{e}^{z_k}$

①$i=j時(shí),g^{\prime }(x)=e^{z_j},h^{\prime }(x)=e^{z_j}$
②$i$≠j$時(shí),g^{\prime }(x)=0,h^{\prime }(x)=e^{z_j}$

由此處理式(1)得到：
①$i=j時(shí)$
$$\frac{?a_j}{?z_i}=\frac{e^{z_i}{\sum }_k{e}^{z_k}?(e^{z_i}{)}^2}{[{\sum }_k{e}^{z_k}{]}^2}=a_i?a_i^2$$

①$i$≠$j時(shí)$
$$\frac{?a_j}{?z_i}=\frac{?(e^{z_j})(e^{z_i})}{[{\sum }_k{e}^{z_k}{]}^2}=?a_j?a_i$$

總結(jié)下：
$$\frac{?J}{?z_i}$$
$$=\sum _j(\frac{?J_j}{?a_j}\frac{?a_j}{?z_i})$$
$$=\sum _{i=j}[(\frac{?y_j}{a_j})(a_i?a_i^2)]+\sum _{i?=j}[(\frac{?y_j}{a_j})(?a_j{a}_i)]$$
$$=?y_i(1?a_i)+\sum _{i?=j}[y_j{a}_i]$$
$$=?y_i+a_i\sum _j{y}_j$$
$$\because \sum _j{y}_j=1(因為所有情況的概率和為1)$$
$$\therefore 原式＝?y_i+a_i$$

參考鏈接：
https://blog.csdn.net/Charel_CHEN/article/details/81266838
https://blog.csdn.net/qian99/article/details/78046329
https://zhuanlan.zhihu.com/p/27223959
http://shuokay.com/2016/07/20/softmax-loss/

總結(jié)

以上是生活随笔為你收集整理的softmax with cross-entropy loss求导(转载＋细节整理)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。