Softmax Loss

一、Softmax

• 作用：softmax的目標是盡可能最大化正確分類的概率，它會忽略掉一些比較難分辨的圖片；也就是低質量的圖片，而優(yōu)先擬合高質量的圖片，因此把特征強行歸一化會使得低范數(shù)的圖片變得高范數(shù)，也會獲得更多的網(wǎng)絡注意力。可以發(fā)現(xiàn)，只在相似度上做變化，跟||w||與||f||無關系，所以可以直接將這兩者歸一化，相當于單位向量。
• 公式入下：
  $$S_j=\frac{e^{a_j}}{{\sum }_{k=1}^N{e}^{a_k}}\text{\hspace{1em}(1)}$$
  上面公式中,$a_j$表示當前輸入的類別特征

二、Softmax Loss

• 核心思想：Softmax Loss無法確保類內的緊湊和類間的疏離
• 不同類別的樣本分布會緊湊挨在一起（不同類別之間的夾角很小），這位模型預測樣本的類別帶來了一定的困難和模糊性。二使用L-Softmax Loss后，可以看到不同類別之間的分界更為清晰，不同類別之間的夾角增大，同時同類分布也更為緊湊。
• 公式入下：
  $$L1=?\sum _{j=1}^N{y}_{j}log{s}_j\text{\hspace{1em}(2)}$$
  上面公式中，$s_j$表示每個類別屬于真實類別的概率
• SoftmaxLoss公式如下：（在softmax的基礎上加入了-log形成損失函數(shù)）
  $$L2=?\sum _{i=1}^{m}log\frac{e^{W_{y_i}^T{x}_i+b_{y_i}}}{{\sum }_{j=1}n{e}^{W_j^T{x}_i+b_j}}\text{\hspace{1em}(3)}$$
  上面公式中，$y_i$屬于真實類別
• 由于一般多分類問題，我們會對標簽進行one-hot處理（$y_i$是0和1），因此公式可簡化為如下公式：
  $$L3=?log{s}_j\text{\hspace{1em}(4)}$$
• Softmax Loss訓練的效果圖如下，隨便找一個網(wǎng)絡，將特征層的結果滑到
  

三、總結

• 【注意】softmax loss是一個損失函數(shù)，是概率的負對數(shù)，當x在0-1之間的時候，是一個下降的函數(shù)
  $Si$表示的是一個概率，信息是概率的負對數(shù)，而信息往往是不穩(wěn)定的；信息的期望是穩(wěn)定的——熵。

• 標準的Softmax Loss，不同類別的樣本隨著分類樣本的增加不同類別樣本的分布會緊挨在一起（不同類別之間的夾角很小），這為模型預測樣本的類別帶來了一定的困難和模糊性。

• 網(wǎng)上一篇文章上做了如下提示：(博主直接使用)：

總結

以上是生活随笔為你收集整理的[损失设计]2.Softmax Loss的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。