Noise-contrastive estimation（NCE）是一種估計統計模型參數的方法。
基本思想是用非線性邏輯回歸（nonlinear logistic regression）區分觀測數據和一些人為產生的噪聲數據，在區分的時候學習統計模型的參數。
作者證明該方法的估計量是一個一致（收斂）估計量，并分析了漸近方差。
特別地，該方法可以直接用于非歸一化模型的參數估計，即概率密度函數積分不為1的模型。歸一化常數可以像任何其他參數一樣進行估計。

NCE的估計量

用$X=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_T)$表示觀測數據，我們用分布$p_m(?;\theta )$去擬合。$Y=({\mathbf{y}}_1,\dots ,{\mathbf{y}}_T)$表示任意的噪聲數據，其符合分布$p_n(?)$。估計量${\hat{\theta }}_T$被定義為最大化下面目標函數的$\theta$：
$$J_T(\theta )=\frac{1}{2T}\sum _t\ln [h({\mathbf{x}}_t;\theta )]+\ln [1?h({\mathbf{y}}_t;\theta )]\text{\hspace{1em}(1)}$$其中
$$\begin{gathered} h(\mathbf{u};\theta )=\frac{1}{1+\exp [?G(\mathbf{u};\theta )]} \\ G(\mathbf{u};\theta )=\ln p_m(\mathbf{u};\theta )?\ln p_n(\mathbf{u}) \end{gathered}$$
logistic regression的函數是$r(x)=\frac{1}{1+\exp (?x)}$，那么$h(\mathbf{u};\theta )=r(G(\mathbf{u};\theta ))$。
公式(1)是區分數據來自X或者噪聲Y的logistic regression的log-likelihood。
NCE的思想就是，通過區分數據和噪聲，可以學習到數據的分布。

作者證明了估計量${\hat{\theta }}_T$的一致性：

噪聲分布的選擇

噪聲分布應該盡可能的和數據分布相似，否則的話分類問題太過于簡單，算法學習不到符合真實數據分布的參數。
可以先學習一個基礎的模型去擬合數據分布，再將這個基礎模型作為噪聲分布。

參考

AISTATS 2010《Noise-contrastive estimation: A new estimation principle for unnormalized statistical models》

總結

以上是生活随笔為你收集整理的Noise-contrastive estimation简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。