指數(shù)加權(quán)平均的偏差修正

\({{v}_{t}}=\beta {{v}_{t-1}}+(1-\beta ){{\theta }_{t}}\)

在上一個(gè)博客中，這個(gè)（紅色）曲線對(duì)應(yīng)\(\beta\)的值為0.9，這個(gè)（綠色）曲線對(duì)應(yīng)的\(\beta\)=0.98，如果執(zhí)行寫在這里的公式，在\(\beta\)等于0.98的時(shí)候，得到的并不是綠色曲線，而是紫色曲線，可以注意到紫色曲線的起點(diǎn)較低，來看看怎么處理。

計(jì)算移動(dòng)平均數(shù)的時(shí)候，初始化\(v_{0} = 0\)，\(v_{1} = 0.98v_{0} +0.02\theta_{1}\)，但是\(v_{0} =0\)，所以這部分沒有了（\(0.98v_{0}\)），所以\(v_{1} =0.02\theta_{1}\)，所以如果一天溫度是40華氏度，那么\(v_{1} = 0.02\theta_{1} =0.02 \times 40 = 8\)，因此得到的值會(huì)小很多，所以第一天溫度的估測(cè)不準(zhǔn)。

\(v_{2} = 0.98v_{1} + 0.02\theta_{2}\)，如果代入\(v_{1}\)，然后相乘，所以\(v_{2}= 0.98 \times 0.02\theta_{1} + 0.02\theta_{2} = 0.0196\theta_{1} +0.02\theta_{2}\)，假設(shè)\(\theta_{1}\)和\(\theta_{2}\)都是正數(shù)，計(jì)算后\(v_{2}\)要遠(yuǎn)小于\(\theta_{1}\)和\(\theta_{2}\)，所以\(v_{2}\)不能很好估測(cè)出這一年前兩天的溫度。

有個(gè)辦法可以修改這一估測(cè)，讓估測(cè)變得更好，更準(zhǔn)確，特別是在估測(cè)初期，也就是不用\(v_{t}\)，而是用\(\frac{v_{t}}{1- \beta^{t}}\)，t就是現(xiàn)在的天數(shù)。舉個(gè)具體例子，當(dāng)\(t=2\)時(shí)，\(1 - \beta^{t} = 1 - {0.98}^{2} = 0.0396\)，因此對(duì)第二天溫度的估測(cè)變成了\(\frac{v_{2}}{0.0396} =\frac{0.0196\theta_{1} + 0.02\theta_{2}}{0.0396}\)，也就是\(\theta_{1}\)和\(\theta_{2}\)的加權(quán)平均數(shù)，并去除了偏差。會(huì)發(fā)現(xiàn)隨著\(t\)增加，\(\beta^{t}\)接近于0，所以當(dāng)\(t\)很大的時(shí)候，偏差修正幾乎沒有作用，因此當(dāng)\(t\)較大的時(shí)候，紫線基本和綠線重合了。不過在開始學(xué)習(xí)階段，才開始預(yù)測(cè)熱身練習(xí)，偏差修正可以幫助更好預(yù)測(cè)溫度，偏差修正可以幫助使結(jié)果從紫線變成綠線。

在機(jī)器學(xué)習(xí)中，在計(jì)算指數(shù)加權(quán)平均數(shù)的大部分時(shí)候，大家不在乎執(zhí)行偏差修正，因?yàn)榇蟛糠秩藢幵赴具^初始時(shí)期，拿到具有偏差的估測(cè)，然后繼續(xù)計(jì)算下去。如果關(guān)心初始時(shí)期的偏差，在剛開始計(jì)算指數(shù)加權(quán)移動(dòng)平均數(shù)的時(shí)候，偏差修正能幫助在早期獲取更好的估測(cè)。

總結(jié)

以上是生活随笔為你收集整理的神经网络优化篇：详解指数加权平均的偏差修正（Bias correction in exponentially weighted averages）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。