前言

個(gè)人認(rèn)為這是一個(gè)非常好或者說是非常新鮮的工作，作者從生物免疫的角度解釋了字典的學(xué)習(xí)過程。以下內(nèi)容為我自己對(duì)本文的簡(jiǎn)單翻譯、理解，僅代表我個(gè)人看法，有不準(zhǔn)確之處可以發(fā)郵件至jzwangATbjtuDOTeduDOTcn討論交流。

簡(jiǎn)介

近些年來，高光譜圖像相關(guān)的研究得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。在合適的光譜分辨率下，較大波長(zhǎng)范圍內(nèi)的高光譜圖像或圖像塊能提供有用的信息，這使得高光譜圖像應(yīng)用廣泛。比如說，其已經(jīng)成功應(yīng)用在環(huán)境檢測(cè)、生物分析、醫(yī)學(xué)圖像、生產(chǎn)質(zhì)量觀測(cè)等領(lǐng)域。然而，包含在高光譜圖像里的大量數(shù)據(jù)使得研究者們難以方便有效地進(jìn)行信息存儲(chǔ)、展示、傳輸和處理，而且，包含在高光譜圖像中的大量冗余信息也產(chǎn)生一些不想要的統(tǒng)計(jì)和幾何特性。這些缺陷產(chǎn)生的主要原因是高光譜圖像通常表示為數(shù)百個(gè)光帶，且相鄰的光帶間關(guān)聯(lián)緊密。在一些情況下，增加光帶的數(shù)量能增強(qiáng)表現(xiàn)，但這并不意味著所有的光帶都是有用的。最關(guān)鍵的因素往往僅存在于幾個(gè)光帶中。出于這個(gè)原因，研究者們均希望提出一種特征提取技術(shù)，該技術(shù)能自動(dòng)地選擇決定性且物理意義明確的少量光帶在不失有效性的情形下來表示整個(gè)高光譜圖像。這種技術(shù)也被稱為光帶選擇，該技術(shù)在高光譜遙感領(lǐng)域是一個(gè)研究熱點(diǎn)。 本文主要關(guān)注高光譜圖像處理中的分類和顏色可視化的問題，貢獻(xiàn)主要有以下三個(gè)方面：

• 將代表性光帶選擇問題形式化為多任務(wù)稀疏學(xué)習(xí)問題，每個(gè)光帶的學(xué)習(xí)過程被看作一個(gè)子任務(wù)。通過APG算法優(yōu)化聯(lián)合稀疏約束問題并取得二次收斂下的全局解。據(jù)我們所知，尚不存在其它工作利用多任務(wù)學(xué)習(xí)解決高光譜光帶選擇問題；
• 基于壓縮感知涉及了有效且符合高光譜內(nèi)在屬性的描述子用來進(jìn)行高光譜光帶的表示。盡管光帶的原始信息可直接用做描述子，但那樣往往伴隨著難以接受的計(jì)算負(fù)擔(dān)。在本文中，借助壓縮感知復(fù)原稀疏信號(hào)的功效我們定義了一種新型高光譜光帶描述子；
• 基于免疫克隆策略對(duì)潛在的光帶組合構(gòu)建了一種有效的搜索策略。為了選擇出最具有代表性的光帶，一些傳統(tǒng)的方法提出使用子集前向搜索的策略。這些策略需要預(yù)先選取一個(gè)或多個(gè)光帶初始化，適合于不相關(guān)聯(lián)的光帶選擇。然而，由于我們提出的框架基于多任務(wù)稀疏追蹤，這類策略不適合我們的框架。幸運(yùn)的是，我們發(fā)現(xiàn)了免疫克隆策略的強(qiáng)大全局搜索能力，能夠在無數(shù)可能的光帶組合中提供出理想的解。

提出的框架

在這一章詳細(xì)介紹基于多任務(wù)稀疏追蹤的無監(jiān)督群組光帶選擇框架。整體流程如下圖所示，其中，基于多任務(wù)稀疏追蹤的評(píng)價(jià)標(biāo)準(zhǔn)是最為關(guān)鍵的部分，該標(biāo)準(zhǔn)用來評(píng)價(jià)可能的光帶組合。此外，如前面所提到的，多任務(wù)學(xué)習(xí)過程中直接使用原始光帶信息在計(jì)算量上是不可接受的。為此，我們基于隨機(jī)投影設(shè)計(jì)了一種新型描述子，在多任務(wù)學(xué)習(xí)之前對(duì)光帶進(jìn)行有效的表示，以此探索壓縮感知對(duì)稀疏信號(hào)的強(qiáng)大復(fù)原能力。然后，我們提出了一種進(jìn)化策略，從無數(shù)的可能組合中搜索出理想的結(jié)果。下面我們將單獨(dú)介紹每個(gè)部分。

壓縮高光譜光帶描述子

普通的終端處理器難以承受使用原始光帶信息作為描述子群組式選擇光帶帶來的計(jì)算負(fù)擔(dān)。即使處理中型大小的圖像該障礙仍然存在。因此，對(duì)于高光譜圖像的處理來說，一種智能且符合圖像本質(zhì)的描述子至關(guān)重要。這里，我們提出了一種有效節(jié)能的描述子用來表示高光譜光帶。

基于稀疏度量矩陣的隨機(jī)投影

如果一個(gè)信號(hào)是可壓縮的，那么根據(jù)壓縮感知理論，隨機(jī)生成的少量線性度量（翻譯成信號(hào)可能更合適）就能保持嵌入在原始高維信號(hào)中的顯著信息。具體地，
如果R滿足JL引理的話，原始的高維信號(hào)y(d維)可以通過一個(gè)低維描述子x(k維，k<d)近乎完美地復(fù)原。 受限于滿足RIP的難度，一種可行的度量矩陣是隨機(jī)高斯矩陣R(k*d維度).但是，這種矩陣往往是稠密的，在k值較大時(shí)，存儲(chǔ)和計(jì)算消耗仍然較高。為了在實(shí)際的高光譜光帶表示中做到信息保留和數(shù)據(jù)降維，在這里采取同[43]的稀疏度量矩陣。該稀疏矩陣能有效地將原始特征空間投影到低維的壓縮子空間，其中的元素定義為：
這里的s是一個(gè)經(jīng)驗(yàn)值，一般設(shè)置為s=d/4.因?yàn)槲覜]有作者的源碼，我自己是這樣理解的：將概率分成三個(gè)段，然后生成0-1之間的隨機(jī)數(shù)，在第一段范圍內(nèi)R的值設(shè)置為根號(hào)s，第二段范圍內(nèi)設(shè)置為0，第三段范圍內(nèi)設(shè)置為負(fù)的根號(hào)s。有文獻(xiàn)支撐該稀疏矩陣能對(duì)原始特征進(jìn)行有效的低維投影。

低維壓縮描述子

在我們提出的光帶選擇框架下，光帶是通過低維的描述子進(jìn)行描述的。基于前面提到的隨機(jī)投影，這些描述子是從多尺度的特征空間提取集成得到的。整個(gè)特征抽取流程如下圖所示：
首先，對(duì)每個(gè)光帶進(jìn)行四個(gè)尺度的動(dòng)態(tài)高斯金字塔。整個(gè)過程是通過對(duì)原始圖像連續(xù)地進(jìn)行低通濾波和下采樣實(shí)現(xiàn)的，結(jié)果產(chǎn)生4個(gè)octave（4個(gè)是由于4個(gè)尺度，octave我不知道該如何翻譯），多尺度有利于整合像素全局信息；第二步，對(duì)產(chǎn)生的octave計(jì)算4個(gè)集成圖像（整個(gè)步驟我也沒理解透），最終每個(gè)光帶被表示成一個(gè)高維向量y(d維)，d是動(dòng)態(tài)高斯金字塔中像素的數(shù)量。對(duì)高光譜圖像而言，d一般在10的4次方到6次方量級(jí)。最后，利用稀疏矩陣R對(duì)原始特征進(jìn)行投影得到低維的特征表示x(k維)，在實(shí)驗(yàn)中設(shè)置k為200.

基于多任務(wù)稀疏追蹤的標(biāo)準(zhǔn)

本文提出的框架是對(duì)光帶進(jìn)行群組式選擇，也就是說將每個(gè)可能的光帶組合作為一個(gè)完整的單元。在選擇可能的光帶集合之前，首先應(yīng)該介紹評(píng)判標(biāo)準(zhǔn)。在本文里，我們基于多任務(wù)稀疏追蹤提出了一種評(píng)價(jià)標(biāo)準(zhǔn)用于評(píng)價(jià)組合的好壞。下面詳細(xì)介紹該標(biāo)準(zhǔn)的每一步。

高光譜圖像的多任務(wù)表示

在許多的實(shí)際場(chǎng)景中，一個(gè)學(xué)習(xí)問題可以通過在一些潛在因素中共享依賴的相關(guān)子問題得以解決。因此，與獨(dú)立地處理每個(gè)問題相比，基于多任務(wù)學(xué)習(xí)的框架使用子任務(wù)的內(nèi)在關(guān)聯(lián)信息聯(lián)合地解決子問題更具優(yōu)勢(shì)。近期以來，多任務(wù)學(xué)習(xí)已經(jīng)成功地應(yīng)用到圖像分類、顯著性檢測(cè)等問題。考慮到光帶之間的強(qiáng)關(guān)聯(lián)性和數(shù)據(jù)的冗余，一個(gè)高光譜圖像的光帶與其相鄰光帶往往是非常相似的（可以線性表示）。具體地，本文提出的標(biāo)準(zhǔn)如下： 一個(gè)高光譜圖像塊被表示為

其中X的每一列是一個(gè)光帶的k維表示，我們所期待的光帶組合可以看作一個(gè)字典D，表示為
其中每一個(gè)di就是我們想要的具有代表性的光帶的表示。也就是說，每一個(gè)光帶xi都可以表示為字典D的線性組合，系數(shù)為zi如下式：

而且，已知相鄰光帶間高冗余高相關(guān)，這使得獨(dú)立地表示每個(gè)光帶是稀疏的。（這句話翻譯得生硬，意思是說，表示系數(shù)可能大部分為0）.特別地，在我們的研究中，我們期待每個(gè)光帶的表示是稀疏的（子任務(wù)）且共享同一個(gè)字典的，這樣就可以通過聯(lián)合稀疏追蹤來實(shí)現(xiàn)光帶的可靠重建。 在多任務(wù)學(xué)習(xí)的框架下，聯(lián)合稀疏最常采用的策略是使混合范數(shù)。下圖展示了聯(lián)合稀疏正則化項(xiàng)是如何發(fā)揮作用的。稀疏系數(shù)矩陣的第i列構(gòu)成了光帶xi的一個(gè)表示，聯(lián)合稀疏正則化項(xiàng)不僅鼓勵(lì)每個(gè)列向量是稀疏的，而且也在每一行中對(duì)系數(shù)進(jìn)行限制。（http://blog.csdn.net/jzwong/article/details/50700361）。總之，本文提出的框架如下：

APG方法

我對(duì)APG不怎么熟悉，待日后功底深厚一些再回來補(bǔ)充相關(guān)的理解吧。反正這里都是套路，就是用來求解上面提出的模型的。常用的還有ADM等優(yōu)化求解算法。

表示的評(píng)價(jià)

在最后一步，需要根據(jù)某些給定的評(píng)價(jià)準(zhǔn)則來確定最終選擇的光帶。在本文中，最終選擇讓模型產(chǎn)生最小損失的光帶作為字典。

計(jì)算進(jìn)化光帶選擇

聽這個(gè)名字就挺嚇人的。開始的時(shí)候會(huì)有困惑，最終不是只要一個(gè)字典嗎？為啥在這里學(xué)習(xí)到了字典的集合了？其實(shí)是這樣的，在這里作者不希望再每次對(duì)一個(gè)高光譜圖像學(xué)習(xí)一個(gè)字典，而是希望同時(shí)可以學(xué)習(xí)到多個(gè)高光譜圖像的字典，這正是所謂的“進(jìn)化”。群組式的光帶選擇可能存在無數(shù)可能的光帶組合，計(jì)算進(jìn)化策略則提供了一理想解。在若干策略中，由于其出色的全局搜索能力，免疫克隆系統(tǒng)可能是最為流行的。因此，在本文中，我們使用免疫克隆系統(tǒng)來解決高光譜光帶選擇的問題。

基于所提準(zhǔn)則的親和函數(shù)

免疫克隆系統(tǒng)起源于克隆選擇理論，該理論描述了生物免疫系統(tǒng)對(duì)抗原入侵的動(dòng)態(tài)學(xué)習(xí)機(jī)理。在典型的免疫克隆系統(tǒng)中，抗原通常被看作待解決的目標(biāo)問題，抗體細(xì)胞則被當(dāng)作問題的解決方案。顯然，不同的抗體對(duì)抗原有不同的消滅能力。免疫克隆系統(tǒng)的主要過程就是搜索哪些對(duì)入侵的抗原最具有親和能力的抗體。而在光帶選擇問題中，最終的目的則是保留具有最小重構(gòu)誤差的光帶。類似地我們可以說，高光譜圖像的表示就是抗原，解決表示問題的光帶組合則是抗體。我們就是要尋找最具有表示能力（最親和）的光帶組合。為此，我們定義了一個(gè)親和函數(shù)如下：
其實(shí)這個(gè)函數(shù)是非常直觀的。先回顧一下前面提到的符號(hào)。X=[x1,...,xn]是一個(gè)高光譜圖像的表示，其中每個(gè)xi對(duì)應(yīng)一個(gè)光帶，D就是一個(gè)光帶組合，其應(yīng)該是X的一個(gè)子集。Z是稀疏系數(shù)矩陣表示我們多任務(wù)學(xué)習(xí)框架下得到的重構(gòu)系數(shù)。顯然A(D)的值越大表明重構(gòu)的越好，也就是說當(dāng)前的D是一個(gè)好的光帶組合。

有效光帶選擇的克隆操作

在生物免疫系統(tǒng)中，當(dāng)一種新型抗原入侵系統(tǒng)時(shí)，器官能夠克隆高親和的抗體來進(jìn)行防御。這個(gè)過程主要包括克隆，變異和選擇。在本文中，可能的光帶組合是抗體群(antibody populations)。抗體群記作，其中N被設(shè)置為10.免疫克隆系統(tǒng)的狀態(tài)轉(zhuǎn)移如下：
箭頭上的三個(gè)標(biāo)號(hào)分別表示克隆，變異和選擇。t到t+1表示到達(dá)一種新的狀態(tài)。 克隆其實(shí)是一個(gè)自我復(fù)制的過程。在這個(gè)過程中共復(fù)制
個(gè)Di。 變異操作的目的是使得抗體群更豐富一些。在本文中，我們隨機(jī)選出NMDi'個(gè)復(fù)制的抗體，然后替換為等量的其它可用的組合。此外，在變異的過程中會(huì)有一個(gè)補(bǔ)充操作避免用重復(fù)的抗體來更新。 選擇操作則根據(jù)前面的親和函數(shù)來進(jìn)行。一個(gè)變異的抗體Di‘’是否替換原來的Di通過下式確定：
更新后的Di構(gòu)成新的D(t+1).在過去的50次更新里當(dāng)最高的親和度相對(duì)變化率低于一個(gè)預(yù)先指定的閾值時(shí)更新停止。在論文中，作者將N設(shè)置為10，也就是說，作者希望每次能同時(shí)完成10個(gè)高光譜圖像的代表性光帶的選擇。我自己認(rèn)為，這里用類似生物免疫克隆的機(jī)制來解釋多個(gè)字典的學(xué)習(xí)過程是本文最大的亮點(diǎn)，最起碼讓我讀了非常的新穎。

實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果就是各種好，暫且不論，就先寫到這里吧。

總結(jié)

以上是生活随笔為你收集整理的Hyperspectral Band Selection by Multitask Sparsity Puisuit的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。