Learning deep energy model: contrastive divergence vs. Amortized MLE

• abstract
• 1 Introduction
• 2 Background
• • 2.1 stein variational gradient descent
  • 2.2 learning energy model
• **contrastive Divergence**

abstract

受SVGD算法的啟發(fā),本文提出兩個算法用于從數(shù)據(jù)中學(xué)習(xí)深度能量模型.兩個算法分別為:SteinCD算法和SteinGAN 算法,SteinCD 算法將 CD算法和SVGD算法結(jié)合(基于兩者理論上的聯(lián)系), SteinGAN 算法通過最大似然訓(xùn)練一個附加的網(wǎng)絡(luò)訓(xùn)練負(fù)樣本. SteinCD有高似然,SteinGAN有高可視化質(zhì)量.兩者結(jié)合可以繼承兩者的優(yōu)點.

1 Introduction

EBM(energy -based models)能夠捕獲依據(jù)能量函數(shù)捕獲變量之間的依賴性,為無向圖模型,深度生成模型等提供了一個統(tǒng)一的建?？蚣?

MLE(maximum likelihood estimator)用于學(xué)習(xí)EBM中的參數(shù),但是準(zhǔn)確MLE由于難以計算的歸一化常數(shù)往往無法求解.為了解決這個困境,近年提出了很多方法,例如近似的Likelihood 目標(biāo)函數(shù),或者可替代的目標(biāo)函數(shù). Contrastive divergence 是其中一種改進(jìn)方案,優(yōu)化的是一個對比目標(biāo),該對比目標(biāo)用以衡量 朝著目標(biāo)走一定步子的 能夠改進(jìn)的ＫL散度(兩個分布沒有搞清楚呦).

CD類的方法能夠獲得很高的測試似然,但是產(chǎn)生不了真實的數(shù)據(jù)(real-world instance圖像). 能量模型無法捕獲real-world instance 基于的相對第的流形.GAN模型能夠生成高視覺質(zhì)的樣本但沒有明確的能量目標(biāo)（使得泛化性能一般）. 將ＧＡＮ模型和ＥＢＭ模型結(jié)合能夠融合兩種方法的優(yōu)點．

2 Background

2.1 stein variational gradient descent

SVGD 可以是一個近似采樣策略，用于近似從目標(biāo)分布$p(x)$中采樣（x是d 維度的一個隨機變量）．初始化一些列例子$\{x_i{\}}_{i=1}^n$(這些例子的經(jīng)驗分布是$q_0(x)={\sum }_i\delta (x?x_i)/n$),通過下面的變換操作，使得例子朝著p(x)分布的規(guī)律靠近．
$$x_i^{\prime }\leftarrow x_i+??(x_i),?i=1,...,n$$

其中$?$為步長，$?(x_i)$為$x_i$決定的改進(jìn)方向，這個改進(jìn)方向應(yīng)該朝向KL散度下降最快的方向前進(jìn)(可以直接對W距離優(yōu)化么)
$${?}^{?}=\arg \underset{?\in \mathcal{F}}{\max }\{KL(q_0||p)?KL(q_{[??]}||p)\}\text{\hspace{1em}(6.1)}$$

$$KL(q_0||p)?KL(q_{x^{\prime }}||p)=\int [q_0\log \frac{q_0}{p}?q_{x^{\prime }}\log \frac{q_{x^{\prime }}}{p}]dx$$

原來SVGD目標(biāo)函數(shù)只有后半部分

無窮的部分會被減掉,上式子定義了一個非線性方程優(yōu)化問題.當(dāng)步長$?\to 0$時, ＫＬ散度的下降率（就用這個式子可以計算出來）　可以近似為　KL 散度的梯度（說的是哪兩個分布的KL散度?），寫作:
$${?}^{?}=\arg \underset{?\in \mathcal{F}}{\max }\{?\frac{d}{d?}KL(q_{[??]}||p){|}_{?=0}\}\text{\hspace{1em}(6.2)}$$

最優(yōu)的$?$記為${?}^{?}$,是通過使6.1式最大化得到的最優(yōu)擾動方向.當(dāng)$q_0$與$p$給定,6.1式子中的$KL(q_0||p)$為一個與優(yōu)化無關(guān)的固定值,則需要最小化$KL(q_{[??]}||p)$,則需要找到下降(負(fù)梯度)最快(max)的方向(即6.2式子所示),在 SVGD 中顯示6.2式可以表示為:
$$?\frac{d}{d?}KL(q_{[??]}||p){|}_{?=0}={\mathbb{E}}_{x～q_0}[{\mathcal{T}}_p?(x)]$$

${\mathcal{T}}_p$為stein算子,具體作用形式為(返回標(biāo)量值函數(shù)不懂),6.2 式定義了一個discrepency:$\mathbb{D}(q_0||p)$(距離的定義本身就是一個糟糕的一種情況)

SVGD探索了$\mathcal{F}$需要具備的特性:具有簡單的結(jié)構(gòu),但是依舊能保持著無限維度以包含所有有用的速度場方向.一個自然的選擇是再生核希爾伯特空間中函數(shù).在這種情況下,最優(yōu)的${?}^{?}$為:
$${?}^{?}={\mathbb{E}}_{x～q_0}[{?}_x\log p(x)k(x,x^{\prime })+{?}_{x}k(x,x^{\prime })]$$

2.2 learning energy model

SVGD 是一個推斷過程,本文研究的是一個學(xué)習(xí)過程.給定一批樣本$\{x_i{\}}_{i=1}^n$,找到一個分布$p$,最好的近似這批樣本.

可以將p分布建模為:
$$\begin{gathered} p(x|\theta )=\frac{1}{Z(\theta )}\exp (f(x;\theta )) \\ Z(\theta )={\int }_x\exp (f(x;\theta ))dx \end{gathered}$$

$f(x,\theta )$為負(fù)代表能量的標(biāo)量值函數(shù), 使用MLE來估計(更新)$\theta$,對最大化對數(shù)似然求導(dǎo)數(shù),可以得到參數(shù)$\theta$更新的方式,但是有一個致命的缺點是該導(dǎo)數(shù)中存在歸一化常數(shù)的導(dǎo)數(shù)無法直接計算(到現(xiàn)在也沒有明白為啥這個導(dǎo)數(shù)難以計算?對參數(shù)的導(dǎo)數(shù)乘上所有樣本的和?),所以需要對涉及到的這個歸一化參數(shù)求導(dǎo)的部分進(jìn)行 近似處理 .

contrastive Divergence

https://blog.csdn.net/bbbeoy/article/details/79246340 cd 方法的原始論文的翻譯
深度學(xué)習(xí)方法：受限玻爾茲曼機RBM（四）對比散度contrastive divergence，CD：https://blog.csdn.net/xbinworld/article/details/45274289?utm_source=blogxgwz0

現(xiàn)在的主要問題是如何從KL過度到CD不是很明白,大概是說原來的吉布斯分布采樣是從隨機狀態(tài)開始的,現(xiàn)在 從采樣樣本開始,CD算法的前身應(yīng)該是吉布斯采樣訓(xùn)練RBM
stein max-min 目標(biāo)函數(shù)還是可以理解,max 是為了越接近與原始ＫＬ散度，　外層的Min就是最小化這個KL散度

看完也是一知半解,初步想法框圖,就看多變量的直接請求離差算不算是QR回歸.

總結(jié)

以上是生活随笔為你收集整理的PaperNotes(9)-Learning deep energy model: contrastive divergence vs. Amortized MLE的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。