稀疏编码(Sparse Coding)（二）
為了更進一步的清晰理解大腦皮層對信號編碼的工作機制（策略），需要把他們轉成數學語言，因為數學語言作為一種嚴謹的語言，可以利用它推導出期望和要尋找的程式。本節就使用概率推理（bayes views）的方式把稀疏編碼擴展到隨時間變化的圖像上，因為人類或者哺乳動物在日常活動中通過眼睛獲取的信號是隨時間變化而變化的，對于此類信號仍然有一些稀疏系數和基可以描述他們，同類型的處理方式也有慢特征分析(slow features analysis)。廢話不多說了，進入正題：
? ? ? ?我們把圖像流（圖像序列）看成時空基函數的線性組合再加上一些噪聲,當然時空基函數可以想象成是時空不變的，類似于行為識別里的3D-SIFT，這點貌似又和慢特征分析扯上關系咯。同樣時空基函數仍然有一些系數，用表示，則圖像流則可以看成時空基和系數的卷積加上一些噪聲，其模型如(公式一)所示：
（公式一）
? ? ?整個模型可以形象的用（圖一）展示，注意系數是一種單峰類似刺突的東東哦，（圖一）上：
（圖一）
? ? ? 當然對于（圖一）中的時空基函數應盡可能的稀疏，便于減少運算量，不然對圖像序列的運算量太大了。對于模型的參數求解，先假設系數獨立且滿足稀疏，bruno基于這些假設，給出了系數的先驗公式，如（公式二）所示：
（公式二）
? ? ? 因為系數之間獨立，所以他們的聯合分布分解成單個分布的乘積形式，而且每個系數滿足稀疏假設，S是個非凸函數控制著系數alpha的稀疏。有了這些先驗知識，給定圖像序列后的系數alpha的后驗概率如（公式三）所示：
（公式三）
? ? ?通過最大化此后驗概率，然后利用其梯度下降法求解，求的系數alpha,全部求解步驟如（公式四）所示：
（公式四）
? ? ? 公式盡管這么多，但扔不足以說明求解系數的詳細步驟，因為（公式三）的后兩項仍然不清楚，再次對這二項再做個假設，如（公式五）所示：
（公式五）
? ? ? 盡管做了如此假設，但是P(I|alpha,theta)仍然不能直接計算，需要對此項采樣方能完成，這個地方是需要改進的地方，盡管如此，我們還是硬著頭皮把學習基函數步驟一并貼出來，為后續改進打下鋪墊。學習過程如（圖二）所示：
（圖二）
? ? ? 系數alpha通過梯度下降完成，基函數更新則通過Hebbian learning學習完成，Hebbian(海扁,又譯赫布)學習就是加強同時激活的細胞之間的連接（"Cells that firetogether, wire together."），這點可以稍微解釋了“讀書百遍”背后的大腦皮層可塑的工作機制。學習到的基函數如（圖三）所示：
（圖三）
? ? ? 好咯，稀疏編碼的生命科學的解釋到此就差不多了，可以看到思想不錯，但是手工假設的太多，學習方法也不友好，隨著代數學以及LASSO的引入，稀疏碼逐漸開始成熟，并開始走上應用的道路，到了DeepLearning時代，手工成分也越來越少，威力貌似也越來越大。（好吧，我承認這節寫的很惡心，但是這節最大的亮點就是在空時域上編碼，這對行為識別、語言識別啥的都有些幫助哦）
?
參考文獻：
? ? Probabilistic Models of the Brain: Perception and Neural Function.?MIT Press
轉載請注明鏈接：http://blog.csdn.net/cuoqu/article/details/8989233
總結
以上是生活随笔為你收集整理的稀疏编码(Sparse Coding)（二）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Sparsity稀疏编码（一）
- 下一篇： Sparsity稀疏编码（三）