稀疏編碼(sparse coding)和低秩矩陣(low rank)的區(qū)別

?????? 上兩個小結(jié)介紹了稀疏編碼的生命科學(xué)解釋，也給出一些稀疏編碼模型的原型(比如LASSO),稀疏編碼之前的探討文章就不說了，今天開始進入機器學(xué)習(xí)領(lǐng)域的稀疏表達。稀疏編碼進入機器學(xué)習(xí)領(lǐng)域后，出現(xiàn)了很多應(yīng)用，比如計算視覺領(lǐng)域的圖像去噪，去模糊，物體檢測，目標(biāo)識別和互聯(lián)網(wǎng)領(lǐng)域的推薦系統(tǒng)（Collaborative filtering）用到的low rank,其實sparsecoding和low rank有點區(qū)別，前者是稀疏系數(shù)，后者是稀疏基。就統(tǒng)稱他們?yōu)橄∈璞磉_吧。接下來簡單的闡述下sparse coding和low rank的區(qū)別：

????? Sparsecoding就是圍繞著開展工作，比如找到稀疏字典D和稀疏系數(shù) alpha，如果X是人臉圖像，訓(xùn)練的目標(biāo)就是為了找到合適的字典基和一些系數(shù)的線性組合可以重建人臉X，假設(shè)訓(xùn)練樣本有K類（即為K個人），每類有N個樣本，那么D可表達為：

，其中下標(biāo)i表示第i類。

不過還是要強調(diào)一下d表示一張圖像向量，假設(shè)維度為m。這樣某個樣本可以表示為：

，其中

，這下終于和sparse coding扯上關(guān)系咯，alpha是稀疏的，好多0啊。如果假設(shè)圖像還有一些噪聲，那么再擴展一下，可以繼續(xù)表示為：

到此位置機器學(xué)習(xí)的sparse coding模型基本就搭建好了，接著要做的就是對它求解，不得不說的是公式中都是未知數(shù)，看上去解很多，不過還有一個約束沒用上，就是讓alpha和e的非零個數(shù)盡可能的少，稀疏嘛，因此最終建立模型(公式一)所示：

（公式一）

對其優(yōu)化求解就行了，常用的方法有coordinate descent和Orthogonal Matching Pursuit（OMP）方法，求解的alpha和e是稀疏的，但是求解方法主要看優(yōu)化，各種優(yōu)化算法層出不窮，這個話題就打住吧。

現(xiàn)在來看下low rank,先來看一個經(jīng)典問題，如(圖一)所示：

（圖一）

（圖一）是stanford人工智能教授andrew ng的課件截圖，說的是四個人對不同電影打分，其中Alice和Bob偏向于喜歡看言情的浪漫電影，而Carol和Dave偏向于動作片和武俠片，可以推測出Alice和Bob是女的吧，而Carol和Dave則可能是男的。矩陣Y中也可以大概的看出這種規(guī)律，矩陣前兩行數(shù)據(jù)（男同學(xué)打的分）很相似，可以把他們看成同一個軸，而下面兩行看成另外一個軸，這兩個軸構(gòu)成了打分空間，因此軸就是基，類似于稀疏編碼的字典。但是基是稀疏的，而系數(shù)不是稀疏的。其實現(xiàn)實中有很多類似的數(shù)據(jù)，比如你把對齊的同一個人臉數(shù)據(jù)按照這樣的矩陣排放，同樣是類似規(guī)律。同學(xué)們可能在找系數(shù)在哪，系數(shù)如（圖二）所示：

（圖二）

優(yōu)化求解模型如（公式二）所示：

（公式二）

沒錯，和上面一樣，又要求X又要求theta,求解方法仍然可以采用 coordinate descent,但也有其他求解方法，其他方法主要從凸優(yōu)化的角度來考慮，數(shù)學(xué)界的新星陶哲軒證明了在RIP條件下L0范數(shù)（就是計算元素數(shù)的）優(yōu)化和 L1范數(shù)優(yōu)化具有相同的解，然后L1范數(shù)是個凸優(yōu)化問題，順便松弛到trace norm來求解，背后有很多數(shù)學(xué)證明，今天就說到這了，優(yōu)化求解方法以后慢慢來觸及吧。

對于稀疏表示的應(yīng)用可以看看一篇名為“稀疏表達”的上中下博文

轉(zhuǎn)載請注明鏈接：http://blog.csdn.net/cuoqu/article/details/9040731

總結(jié)

以上是生活随笔為你收集整理的Sparsity稀疏编码（三）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。