?稀疏編碼來源于神經(jīng)科學(xué)，計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域一般一開始就從稀疏編碼算法講起，上來就是找基向量（超完備基），但是我覺得其源頭也比較有意思，知道根基的情況下，拓展其應(yīng)用也比較有底氣。哲學(xué)、神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)、機(jī)器學(xué)習(xí)科學(xué)等領(lǐng)域的磚家、學(xué)生都想搞明白人類大腦皮層是如何處理外界信號(hào)的，大腦對(duì)外界的“印象”到底是什么東東。圍繞這個(gè)問題，哲學(xué)家在那想、神經(jīng)科學(xué)家在那用設(shè)備觀察、計(jì)算機(jī)和機(jī)器學(xué)習(xí)科學(xué)家則是從數(shù)據(jù)理論和實(shí)驗(yàn)仿真上推倒、仿真。在神經(jīng)編碼和神經(jīng)計(jì)算領(lǐng)域，我所能查到最早關(guān)于稀疏編碼的文獻(xiàn)是1996年，在此之前的生命科學(xué)家的實(shí)驗(yàn)觀察和假設(shè)都不說了，1996年Cornell大學(xué)心理學(xué)院的Bruno在Nature上發(fā)表了一篇題名為：“emergence of simple-cell receptive fieldproperties by learning a sparse code for nature images”的文章，大意是講哺乳動(dòng)物的初級(jí)視覺的簡單細(xì)胞的感受野具有空域局部性、方向性和帶通性（在不同尺度下，對(duì)不同結(jié)構(gòu)具有選擇性），和小波變換的基函數(shù)具有一定的相似性。當(dāng)時(shí)描述這些性質(zhì)主要從自然圖像編碼的統(tǒng)計(jì)結(jié)構(gòu)上來理解這些視覺細(xì)胞的特性，但是大部分都沒有成功，接著Bruno在文章中提出通過最大化稀疏編碼假說成功描述了上述細(xì)胞的性質(zhì)，然后稀疏編碼就火了。先來看看這篇文章的核心思想，作者基于一個(gè)基本假設(shè)，圖像是有一些基的線性組合形成，如（公式一）所示：?

（公式一）

? ? ? 其中fai(x,y)是基函數(shù)，alpha是系數(shù)，隨著不同的圖像變化而變化。有效編碼的目標(biāo)就是為了尋找完備的基函數(shù)來生成圖像空間，而且要求系數(shù)盡可能獨(dú)立，只所以獨(dú)立就是為了尋找信號(hào)的本質(zhì)結(jié)構(gòu)。當(dāng)時(shí)的淫們很自然的想到PCA，因?yàn)镻CA可以找到一些統(tǒng)計(jì)結(jié)構(gòu)上的空間軸（類似坐標(biāo)軸）來構(gòu)成基函數(shù)，但是PCA一對(duì)噪聲太敏感，也就是只能對(duì)一些類似高斯分布的數(shù)據(jù)有效，這樣的干凈數(shù)據(jù)可以很好的找到空間軸，對(duì)更復(fù)雜分布的數(shù)據(jù)（比如現(xiàn)在的流形分布）無效，作者受信息論啟發(fā)，即相關(guān)變量的聯(lián)合熵小于個(gè)體熵之和（當(dāng)變量alpha之間互相獨(dú)立時(shí)，二者相等,二者之間差了一個(gè)互信息），如果保持圖像的聯(lián)合熵不變，一個(gè)使得降低變量相關(guān)性的可能方法就是降低個(gè)體的熵，因此基于Barlow’s term，作者尋找一個(gè)最小熵編碼（注：Barlow’s term那本書因年代久遠(yuǎn)，我找不到源頭了,大意是統(tǒng)計(jì)獨(dú)立降低編碼冗余度），基于上面，作者猜測(cè)自然圖像是個(gè)稀疏結(jié)構(gòu)，即任何給定圖像都可以用大數(shù)據(jù)里面的少數(shù)幾個(gè)描述符（基）來表示。稀疏編碼出生咯，作者開始尋找使得每個(gè)系數(shù)的概率分布是單模態(tài)并且在0處是峰分布的低熵（low-entropy）方法。作者提出稀疏編碼的尋找方案可以通過最小化（公式二）來完成：

（公式二）

? ? ?其中第一項(xiàng)就是保持信息的代價(jià)（cost），如（公式三）所示：

（公式三）

? ? ?當(dāng)然如果基于基函數(shù)重建的圖像和原圖像I（x,y）一致的話，代價(jià)為0(為最小)。

? ? ?（公式二）的第二項(xiàng)則是稀疏價(jià)值函數(shù)，其中的lambda是個(gè)常量正系數(shù)，平衡下稀疏系數(shù)alpha的重要性，和SVM的常量C有異曲同工之妙。作者提出了三個(gè)稀疏價(jià)值函數(shù)，如（圖一）所示：

（圖一）

? ? ? 可以驚喜的發(fā)現(xiàn)，現(xiàn)在經(jīng)常用的L1正則赫然在列，其他兩個(gè)應(yīng)該被淘汰了，其實(shí)當(dāng)時(shí)LASSO也開始出現(xiàn)了，只是當(dāng)時(shí)的人們沒有直接意識(shí)到L1正則可以增加稀疏性。至于為什么L1正則可以增加稀疏性，推薦讀下MIT的博士pluskid的這篇博文：http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/

Pluskid的數(shù)學(xué)功底雄厚，閱讀者也需要一些功底才行。繼續(xù)我們今天的話題，要最小化公式二，參數(shù)變量只有alpha,對(duì)其求導(dǎo)，然后用梯度下降法迭代更新alpha即可，更新alpha后，也要繼續(xù)更新基函數(shù)，二者的步驟一并通過（圖二）給出：

（圖二）

? ?求出后的參數(shù)alpha和系數(shù)如（圖三）所示：

（圖三）

? ? ? 其中a是基函數(shù)，b是其系數(shù)，c則是驗(yàn)證感受野的特性，d表明系數(shù)是在0處單峰。通過圖像展示，對(duì)于初級(jí)視覺細(xì)胞的感受野信號(hào)的那些屬性得到了驗(yàn)證，圖像信息得到了保持，而且編碼是稀疏的，至此稀疏編碼拉開了序幕，衍生了后續(xù)各種優(yōu)化版本和應(yīng)用。

?

參考文獻(xiàn)：

? ? ? ?[1] emergence of simple-cell receptive field properties by learning a sparse code for nature images. 1996

? ? ? ?[2] Sparse Coding with an Overcomplete BasisSet: A Strategy Employed by V1 ? ?1997

轉(zhuǎn)載請(qǐng)注明鏈接：http://blog.csdn.net/cuoqu/article/details/8980853

總結(jié)

以上是生活随笔為你收集整理的Sparsity稀疏编码（一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。