negative log likelihood
文章目錄
negative log likelihood
似然函數(shù)(likelihood function)
Overview
Definition
離散型概率分布(Discrete probability distributions)
連續(xù)型概率分布(Continuous probability distributions)
最大似然估計(Maximum Likelihood Estimation,MLE)
對數(shù)似然(log likelihood)
負(fù)對數(shù)似然(negative log-likelihood)
Reference
似然函數(shù)(likelihood function)
Overview
在機(jī)器學(xué)習(xí)中，似然函數(shù)是一種關(guān)于模型中參數(shù)的函數(shù)。“似然性(likelihood)”和"概率(probability)"詞意相似，但在統(tǒng)計學(xué)中它們有著完全不同的含義：概率用于在已知參數(shù)的情況下，預(yù)測接下來的觀測結(jié)果；似然性用于根據(jù)一些觀測結(jié)果，估計給定模型的參數(shù)可能值。

Probability is used to describe the plausibility of some data, given a value for the parameter. Likelihood is used to describe the plausibility of a value for the parameter, given some data.

? —from wikipedia[3] ^[3]
[
3]

其數(shù)學(xué)形式表示為：

假設(shè)X XX是觀測結(jié)果序列，它的概率分布fx f_{x}f
x
?
依賴于參數(shù)θ hetaθ，則似然函數(shù)表示為

?
L(θ∣x)=fθ(x)=Pθ(X=x) L( heta|x)=f_{ heta}(x)=P_{ heta}(X=x)
L(θ∣x)=f
θ
?
(x)=P
θ
?
(X=x)

Definition
似然函數(shù)針對**離散型概率分布(Discrete probability distributions)和連續(xù)型概率分布(Continuous probability distributions)**的定義通常不同.

離散型概率分布(Discrete probability distributions)
假設(shè)X XX是離散隨機(jī)變量,其概率質(zhì)量函數(shù)p pp依賴于參數(shù)θ hetaθ,則有

?
L(θ∣x)=pθ(x)=Pθ(X=x) L( heta|x)=p_{ heta}(x)=P_{ heta}(X=x)
L(θ∣x)=p
θ
?
(x)=P
θ
?
(X=x)

L(θ∣x) L( heta|x)L(θ∣x)為參數(shù)θ hetaθ的似然函數(shù),x xx為隨機(jī)變量X XX的輸出.

Sometimes the probability of "the value of for the parameter value " is written as P(X = x | θ) or P(X = x; θ).

連續(xù)型概率分布(Continuous probability distributions)
假設(shè)X XX是連續(xù)概率分布的隨機(jī)變量,其密度函數(shù)(density function)f ff依賴于參數(shù)θ hetaθ,則有

L(θ∣x)=fθ(x) L( heta|x)=f_{ heta}(x)
L(θ∣x)=f
θ
?
(x)

最大似然估計(Maximum Likelihood Estimation,MLE)
假設(shè)每個觀測結(jié)果x xx是獨(dú)立同分布的，通過似然函數(shù)L(θ∣x) L( heta|x)L(θ∣x)求使觀測結(jié)果X XX發(fā)生的概率最大的參數(shù)θ hetaθ，即argmaxθf(X;θ) argmax_{ heta}f(X; heta)argmax
θ
?
f(X;θ) 。

在“模型已定，參數(shù)未知”的情況下，使用最大似然估計算法學(xué)習(xí)參數(shù)是比較普遍的。

對數(shù)似然(log likelihood)
由于對數(shù)函數(shù)具有單調(diào)遞增的特點(diǎn)，對數(shù)函數(shù)和似然函數(shù)具有同一個最大值點(diǎn)。取對數(shù)是為了方便計算極大似然估計，MLE中直接求導(dǎo)比價困難，通常先取對數(shù)再求導(dǎo)，找到極值點(diǎn)。

負(fù)對數(shù)似然(negative log-likelihood)
實(shí)踐中,softmax函數(shù)通常和負(fù)對數(shù)似然(negative log-likelihood,NLL)一起使用,這個損失函數(shù)非常有趣,如果我們將其與softmax的行為相關(guān)聯(lián)起來一起理解.首先,讓我們寫下我們的損失函數(shù):

L(y)=−log(y) L(y)=-log(y)
L(y)=−log(y)

回想一下,當(dāng)我們訓(xùn)練一個模型時,我們渴望能夠找到使得損失函數(shù)最小的一組參數(shù)(在一個神經(jīng)網(wǎng)絡(luò)中,參數(shù)指權(quán)重weights和偏移biases).

對數(shù)函數(shù)如下圖紅線所示：

由于是對概率分布求對數(shù)，概率p pp的值為0≤p≤1 0leq{p}leq10≤p≤1,取對數(shù)后為紅色線條在[0,1] [0,1][0,1]區(qū)間中的部分，再對其取負(fù)數(shù)，得到負(fù)對數(shù)似然函數(shù)如下圖所示：

我們希望得到的概率越大越好，因此概率越接近于1，則函數(shù)整體值越接近于0，即使得損失函數(shù)取到最小值。

最大似然估計的一般步驟如下:
(1) 寫出似然函數(shù);
(2) 對似然函數(shù)取對數(shù),得到對數(shù)似然函數(shù);
(3) 求對數(shù)似然函數(shù)的關(guān)于參數(shù)組的偏導(dǎo)數(shù),并令其為0,得到似然方程組;
(4) 解似然方程組,得到參數(shù)組的值.

Reference
[1]王海良,李卓恒,林旭鳴.智能問答與深度學(xué)習(xí)[M].北京:電子工業(yè)出版社,2019:19-20.

[2]Lj Miranda.Understanding softmax and the negative log-likelihood.2017.

? [link]https://ljvmiranda921.github.io/notebook/2017/08/13/softmax-and-the-negative-log-likelihood/

[3]wikipedia-likelihood function

? [link]https://en.wikipedia.org/wiki/Likelihood_function#Log-likelihood
---------------------
作者：不一樣的雅蘭醬
來源：CSDN
原文：https://blog.csdn.net/silver1225/article/details/88914652
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請附上博文鏈接！

總結(jié)

以上是生活随笔為你收集整理的负对数似然(negative log-likelihood)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。