輸出層的設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)可以用在分類問(wèn)題和回歸問(wèn)題上，不過(guò)需要根據(jù)情況改變輸出層的激活函數(shù)。一般而言，回歸問(wèn)題用恒等函數(shù)，分類問(wèn)題用softmax函數(shù)。

1、恒等函數(shù)和softmax函數(shù)

• 恒等函數(shù)：將輸入按原樣輸出，對(duì)于輸入的信息，不加以任何改動(dòng)地直接輸出。
• softmax函數(shù)：
  
  圖示：
  
• 實(shí)現(xiàn)softmax注意事項(xiàng)：
  溢出問(wèn)題解決措施：減去輸出信號(hào)最大值。
• softmax特征：softmax函數(shù)的輸出是0.0到1.0之間的實(shí)數(shù)。并且，softmax函數(shù)的輸出值的總和是1。輸出可以解釋為“概率”。
• 即便使用了softmax函數(shù)，各個(gè)元素之間的大小關(guān)系也不會(huì)改變。這是因?yàn)橹笖?shù)函數(shù)（y = exp(x)）是單調(diào)遞增函數(shù)。
• 神經(jīng)網(wǎng)絡(luò)在進(jìn)行分類時(shí)，輸出層的softmax函數(shù)可以省略。

2、softmax函數(shù) VS sigmoid函數(shù)

softmax函數(shù)

• softmax =多類別分類問(wèn)題=只有一個(gè)正確答案=互斥輸出（手寫(xiě)數(shù)字）。構(gòu)建分類器，解決只有唯一正確答案的問(wèn)題時(shí)，用softmax函數(shù)處理各個(gè)原始輸出值。softmax函數(shù)的分母綜合了原始輸出值的所有因素，這意味著，softmax函數(shù)得到的不同概率之間相互關(guān)聯(lián)。

• softmax函數(shù)，又稱歸一化指數(shù)函數(shù)。

sigmoid函數(shù)

• sigmoid =多標(biāo)簽分類問(wèn)題=多個(gè)正確答案=非獨(dú)占輸出。構(gòu)建分類器，解決有多個(gè)正確答案的問(wèn)題時(shí)，用sigmoid函數(shù)分別處理各個(gè)原始輸出值。

• sigmoid函數(shù)是一種logistic函數(shù)。

• 優(yōu)點(diǎn)：1、sigmoid函數(shù)的輸出在(0,1)之間，輸出范圍有限，優(yōu)化穩(wěn)定，可以用作輸出層。2. 連續(xù)函數(shù)，便于求導(dǎo)。

• 缺點(diǎn)：1. 最明顯的就是飽和性，容易造成梯度消失。2.激活函數(shù)的偏移現(xiàn)象。sigmoid函數(shù)的輸出值均大于0，使得輸出不是0的均值，這會(huì)導(dǎo)致后一層的神經(jīng)元將得到上一層非0均值的信號(hào)作為輸入，這會(huì)對(duì)梯度產(chǎn)生影響。 3. 計(jì)算復(fù)雜度高，因?yàn)閟igmoid函數(shù)是指數(shù)形式。

總結(jié)

• softmax函數(shù)是二分類函數(shù)sigmoid在多分類上的推廣，目的是將多分類的結(jié)果以概率的形式展現(xiàn)出來(lái)。
• sigmoid函數(shù)可以用來(lái)解決多標(biāo)簽問(wèn)題，softmax函數(shù)用來(lái)解決單標(biāo)簽問(wèn)題。
• 對(duì)于某個(gè)分類場(chǎng)景，當(dāng)softmax函數(shù)能用時(shí)，sigmoid函數(shù)一定可以用。

總結(jié)

以上是生活随笔為你收集整理的神经网络之输出层设计的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。