nn.BCELoss与nn.CrossEntropyLoss的区别
以前我瀏覽博客的時候記得別人說過,BCELoss與CrossEntropyLoss都是用于分類問題。可以知道,BCELoss是Binary CrossEntropyLoss的縮寫,BCELoss CrossEntropyLoss的一個特例,只用于二分類問題,而CrossEntropyLoss可以用于二分類,也可以用于多分類。
不過我重新查閱了一下資料,發現同樣是處理二分類問題,BCELoss與CrossEntropyLoss是不同的。下面我詳細講一下哪里不同。
1. 使用nn.BCELoss需要在該層前面加上Sigmoid函數。
公式如下:
loss(Xi,yi)=?wi[yilogxi+(1?yi)log(1?xi)]loss(X_{i},y_{i}) = -w_{i}[y_{i}logx_{i} + (1-y_{i})log(1-x_{i})]loss(Xi?,yi?)=?wi?[yi?logxi?+(1?yi?)log(1?xi?)]
2. 使用nn.CrossEntropyLoss會自動加上Sofrmax層。
公式如下:
loss(Xi,yi)=?wlabellogexlabel∑j=1Nexjloss(X_{i},y_{i}) = -w_{label}log\frac{e^{x_{label}}}{\sum_{j=1}^{N}e^{x_{j}}}loss(Xi?,yi?)=?wlabel?log∑j=1N?exj?exlabel??
可以看出,這兩個計算損失的函數使用的激活函數不同,故而最后的計算公式不同。
總結
以上是生活随笔為你收集整理的nn.BCELoss与nn.CrossEntropyLoss的区别的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ubuntu设置jupyter
- 下一篇: pytorch中的CrossEntrop