獨立成分分析

Contents [hide] 1概述 2標(biāo)準(zhǔn)正交ICA 3拓?fù)銲CA 4中英文對照 5中文譯者

概述

試著回想一下，在介紹 稀疏編碼算法中我們想為樣本數(shù)據(jù)學(xué)習(xí)得到一個超完備基（over-complete basis）。具體來說，這意味著用稀疏編碼學(xué)習(xí)得到的基向量之間不一定線性獨立。盡管在某些情況下這已經(jīng)滿足需要，但有時我們?nèi)匀幌Ｍ玫降氖且唤M線性獨立基。獨立成分分析算法（ICA）正實現(xiàn)了這一點。而且，在 ICA 中，我們希望學(xué)習(xí)到的基不僅要線性獨立，而且還是一組標(biāo)準(zhǔn)正交基。（一組標(biāo)準(zhǔn)正交基 需要滿足條件：（如果）或者（如果i = j））

與稀疏編碼算法類似，獨立成分分析也有一個簡單的數(shù)學(xué)形式。給定數(shù)據(jù) x，我們希望學(xué)習(xí)得到一組基向量――以列向量形式構(gòu)成的矩陣 W，其滿足以下特點：首先，與稀疏編碼一樣，特征是稀疏的；其次，基是標(biāo)準(zhǔn)正交的（注意，在稀疏編碼中，矩陣 A 用于將特征 s 映射到原始數(shù)據(jù)，而在獨立成分分析中，矩陣W 工作的方向相反，是將原始數(shù)據(jù) x 映射到特征）。這樣我們得到以下目標(biāo)函數(shù)：

由于 Wx 實際上是描述樣本數(shù)據(jù)的特征，這個目標(biāo)函數(shù)等價于在稀疏編碼中特征 s 的稀疏懲罰項。加入標(biāo)準(zhǔn)正交性約束后，獨立成分分析相當(dāng)于求解如下優(yōu)化問題：

與深度學(xué)習(xí)中的通常情況一樣，這個問題沒有簡單的解析解，而且更糟糕的是，由于標(biāo)準(zhǔn)正交性約束，使得用梯度下降方法來求解該問題變得更加困難――每次梯度下降迭代之后，必須將新的基映射回正交基空間中（以此保證正交性約束）。

實踐中，在最優(yōu)化目標(biāo)函數(shù)的同時施加正交性約束（如下一節(jié) 正交ICA中講到的）是可行的，但是速度慢。在標(biāo)準(zhǔn)正交基是不可或缺的情況下，標(biāo)準(zhǔn)正交ICA的使用會受到一些限制。（哪些情況見：TODO ）

標(biāo)準(zhǔn)正交ICA

標(biāo)準(zhǔn)正交ICA的目標(biāo)函數(shù)是：

通過觀察可知，約束WW^T = I隱含著另外兩個約束:

第一，因為要學(xué)習(xí)到一組標(biāo)準(zhǔn)正交基，所以基向量的個數(shù)必須小于輸入數(shù)據(jù)的維度。具體來說，這意味著不能像通常在 稀疏編碼中所做的那樣來學(xué)習(xí)得到超完備基（over-complete bases）。

第二，數(shù)據(jù)必須經(jīng)過無正則 ZCA白化（也即,ε設(shè)為0）。（為什么必須這樣做？見TODO）

因此，在優(yōu)化標(biāo)準(zhǔn)正交ICA目標(biāo)函數(shù)之前，必須確保數(shù)據(jù)被白化過，并且學(xué)習(xí)的是一組不完備基（under-complete basis）。

然后，為了優(yōu)化目標(biāo)函數(shù)，我們可以使用梯度下降法，在梯度下降的每一步中增加投影步驟，以滿足標(biāo)準(zhǔn)正交約束。過程如下：

重復(fù)以下步驟直到完成：

, 其中U是滿足WW^T = I的矩陣空間

在實際中,學(xué)習(xí)速率α是可變的,使用一個線搜索算法來加速梯度.投影步驟通過設(shè)置來完成,這實際上可以看成就是ZCA白化(TODO:解釋為什么這就象ZCA白化).

拓?fù)銲CA

與 稀疏編碼算法類似，加上一個拓?fù)浯鷥r項，獨立成分分析法可以修改成具有拓?fù)湫再|(zhì)的算法。

中英文對照

獨立成分分析 Independent Component Analysis

稀疏編碼算法 Sparse coding

超完備基 Over-complete basis

標(biāo)準(zhǔn)正交基 Orthonormal basis

稀疏懲罰項 Sparsity penalty

梯度下降法 Gradient descent

白化 Whitened

不完備基 Under-complete basis

線搜索算法 Line-search algorithm

拓?fù)浯鷥r項 Topographic cost term

from: http://ufldl.stanford.edu/wiki/index.php/%E7%8B%AC%E7%AB%8B%E6%88%90%E5%88%86%E5%88%86%E6%9E%90

總結(jié)

以上是生活随笔為你收集整理的Stanford UFLDL教程 独立成分分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。