? ? ? ?ICA又稱盲源分離(Blind source separation, BSS)

? ? ? ?它假設(shè)觀察到的隨機(jī)信號(hào)x服從模型，其中s為未知源信號(hào)，其分量相互獨(dú)立，A為一未知混合矩陣。

? ? ? ? ICA的目的是通過且僅通過觀察x來估計(jì)混合矩陣A以及源信號(hào)s。

大多數(shù)ICA的算法需要進(jìn)行“數(shù)據(jù)預(yù)處理”（data preprocessing）：先用PCA得到y(tǒng)，再把y的各個(gè)分量標(biāo)準(zhǔn)化（即讓各分量除以自身的標(biāo)準(zhǔn)差）得到z。預(yù)處理后得到的z滿足下面性質(zhì)：

• z的各個(gè)分量不相關(guān)；
• z的各個(gè)分量的方差都為1。

? ? ? “ICA基本定理”：

? ? ? ?定理（Pierre Comon, 1994）

? ? ? 假設(shè)隨機(jī)信號(hào)z服從模型，其中s的分量相互獨(dú)立，且其中至多可以有一個(gè)為高斯；B為滿秩方陣。

? ? ? ?那么若z的分量相互獨(dú)立當(dāng)且僅當(dāng)B=PD，其中P為排列矩陣(permutation matrix)，D為對(duì)角矩陣。

? ? ? ?這個(gè)定理告訴我們，對(duì)于原信號(hào)x做線性變換得到的新隨機(jī)向量，若z的分量相互獨(dú)立，那么z的各個(gè)分量一定對(duì)應(yīng)于某個(gè)源信號(hào)分量乘以一個(gè)系數(shù)。到這里，我們可以看到ICA的解具有內(nèi)在的不確定性(inherent indeterminacy)。實(shí)際上，因?yàn)?#xff0c;即具備相同統(tǒng)計(jì)特征的x可能來自兩個(gè)不同的系統(tǒng)，這意味著單從觀察x我們不可能知道它來自于哪一個(gè)，從而我們就不可能推斷出源信號(hào)s的強(qiáng)度（方差）。為了在技術(shù)上消除這種不確定性，人們干脆約定源信號(hào)s的方差為1。有了這個(gè)約定，再通過數(shù)據(jù)預(yù)處理的方法，我們可以把原混合矩陣A化為一個(gè)自由度更低的正交矩陣：

? ? ? ? 數(shù)據(jù)預(yù)處理的過程又稱為“數(shù)據(jù)白化”(data whitening)。這里預(yù)處理以后得到的z和源信號(hào)s的關(guān)系為。取，則它可以看做一個(gè)新的混合矩陣。容易看出這是一個(gè)正交矩陣，它僅有個(gè)自由度；而原混合矩陣一般有個(gè)自由度。 在ICA之前，往往會(huì)對(duì)數(shù)據(jù)有一個(gè)預(yù)處理過程，那就是PCA與白化。白化在這里先不提，PCA本質(zhì)上來說就是一個(gè)降維過程，大大降低ICA的計(jì)算量。? 總的來說，ICA認(rèn)為觀測(cè)信號(hào)是若干個(gè)統(tǒng)計(jì)獨(dú)立的分量的線性組合，ICA要做的是一個(gè)解混過程。而PCA是一個(gè)信息提取的過程，將原始數(shù)據(jù)降維，現(xiàn)已成為ICA將數(shù)據(jù)標(biāo)準(zhǔn)化的預(yù)處理步驟。 大部分算法都用兩步來實(shí)現(xiàn)ICA：第一步做白化預(yù)處理（whitening），讓輸出信號(hào)不相關(guān)而且同方差。第二步找一個(gè)旋轉(zhuǎn)（就是正交變換）讓輸出信號(hào)不只不相關(guān)（uncorrelated），進(jìn)而在統(tǒng)計(jì)意義上獨(dú)立（statistically independent）。 ? ? ? ??更進(jìn)一步，每當(dāng)我們做回歸（regression），不管是線性回歸還是非線性回歸，噪聲和predictor都是不相關(guān)的。但很多情況下，它們卻不是獨(dú)立的。這個(gè)性質(zhì)最近十年內(nèi)在因果關(guān)系分析中得到很重要的應(yīng)用。

其他詳細(xì)內(nèi)容請(qǐng)參考： https://www.baidu.com/link?url=I5XgnPAgtupzEncN4tet8Ou1xpTvqcWR9XlMAjiO-30-_t-RP0zTUJNiVsHYliLKdvJnhwlzhJq6SXr_pXOpB_&wd=&eqid=f77b202a00025c40000000035b7a6746 https://blog.csdn.net/shenziheng1/article/details/53555969 https://blog.csdn.net/shenziheng1/article/details/53637907 https://blog.csdn.net/sinat_37965706/article/details/71330979

轉(zhuǎn)載于:https://www.cnblogs.com/Ann21/p/9505623.html

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的ICA(独立成分分析)笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。