作者 | 張澤宇

編輯 | 臧晨宇

校對?| 李仲深

今天給大家介紹天津大學張長青老師等人在CVPR2017上發表的文章“Latent Multi-view Subspace Clustering”。與直接使用原始特征進行單視圖的子空間聚類不同，本文提出了一種潛在多視圖子空間的聚類方法(LMSC)，用數據點的潛在表示進行聚類，同時在多個視角中發掘互補信息。該方法在多視圖中尋找數據的潛在表示，并在此基礎上對數據進行重構，建立了數據的完備表示，提高了子空間表示的準確性和魯棒性。該方法同時采用了ALM-ADM算法進行優化，使效果得到了提高。

一、研究背景

1.1?背景

子空間聚類在許多領域都有廣泛應用，尤其對于具有高維特征的數據而言，具有十分重要的作用。一般來講，子空間聚類假設數據點是從多個子空間中提取的，并都能夠對應到不同的簇中。一種基于自我表示的子空間聚類方法曾被提出，該方法用數據點本身的線性組合來對數據點進行表示，并使用損失函數和正則化項來作為目標函數。除此之外，稀疏子空間聚類(Sparse Subspace Clustering, SSC)、低秩表示聚類(Low-Rank Representation clustering, LRR)、平滑表示聚類(Smooth Representation clustering, SMR)等方法也使子空間聚類的效果得到了一定的提升。

雖然上述的子空間聚類方法取得了較好的效果，但通常對原始數據特征的質量有較高要求，在特征缺失等情況下會受到較大影響。因此，一些多視圖子空間的聚類方法被提出，用于改善上述缺點。

在多視圖子空間聚類中，數據點由多源特征進行描述，這些多視圖的數據表示有著更豐富的信息，使聚類取得更好的效果。通常，這些方法可以在原始數據的各個視角中進行數據重建，并在各視角下生成子空間表示。然而，分別使用單個視角進行數據重建往往不能對數據點有很好的整體把握，而且可能存在較大的噪聲，這都可能影響聚類效果。

為了解決上述問題，本文提出了一種數據的潛在表示，來充分發掘數據之間的關系，并能夠有效處理噪聲。本文假設各個視圖都由一個潛在的表示空間產生，并且這個空間能夠在本質上描述數據，且能夠揭示不同視角下所蘊含潛在結構的共同特征。

基于上述假設，本文提出了潛在多視圖子空間聚類方法(Latent Multi-view Subspace Clustering, LMSC)。該方法學習了多視角特征下的潛在表示，并生成了多視角共同子空間下的表示，而不再僅限于單個視角。本文還將潛在表示學習和多視圖子空間聚類整合為統一框架，并使用交替方向最小化的增廣拉格朗日乘子法(Augmented Lagrangian Multiplier with Alternating Direction Minimization, ALM-ADM)進行優化，使效果得到了提高。

1.2?相關工作

此前，多數的多視圖聚類方法都基于圖模型，有一些方法基于矩陣因子分解或基于數據集在原始視圖上的自我表示，有一些方法對一致性進行了優化。除此之外，有一些方法基于K-means來解決大規模多視圖聚類。另外，多核學習、潛在空間的稀疏子空間聚類(Latent Space Sparse Subspace Clustering, LS3C)和潛在低秩表示(Latent Low-Rank Representation, LatLRR)等方法也被提出。

二、模型與方法

2.1?模型與概述

考慮V個視圖下的N個數據點集X，我們的目標是對于每一個數據點xi獲得一個潛在表示hi，所有N個潛在表示hi構成H。我們考慮重構函數P(v)，該函數能夠將統一的潛在表示hi還原為單一視角v下的數據點xi，考慮噪聲ei，則可用圖1表示其關系。

圖1.重構函數、潛在表示、單一視角下數據點與噪聲的關系

因此，需要優化的目標函數如圖2所示。

圖2.目標函數

進一步，可以結合自表示方法，并引入相應的正則項，優化的目標函數如圖3所示。其中Z是重構系數矩陣。

圖3.目標函數

其中，λ1與λ2用于平衡三項之間的影響權重。考慮魯棒性等因素，最終的目標函數如圖4所示。

圖4.最終的目標函數

目標中使用了矩陣的核范數，能夠使最終子空間表示盡可能低秩。

目標函數中的第一項使所得的潛在表示h能夠在P的變換下，還原回單個空間的數據表示，從而保證有用信息得到保留；第二項則表示多視圖子空間下潛在表示的重構損失；第三項使得到的潛在表示盡可能低秩。

通過建立上述模型，我們得到的潛在表示具有較為顯著的優點。

首先，由于綜合了多視圖中的互補信息，相對于單視圖而言，所得的潛在表示能夠更為全面地對數據進行表述，進而能夠提高聚類的效果；另外，使用的矩陣塊范數能夠使使模型更具魯棒性。

最后，我們將兩項矩陣E進行拼接，得到圖5的目標函數。

圖5.拼接處理后的目標函數

2.2? 模型優化

雖然模型中的參數較多，但我們可以分別固定一些參數來優化其它參數，從而將問題分解成幾個迭代的子問題求解。使用ALM-ADM方法可以解決我們的問題。為了使用該方法，我們引入變量J，并將目標函數改寫為圖6形式。

圖6.引入J后的目標函數

運用ALM方法，函數如圖7所示。

圖7.運用ALM方法的函數

隨后，我們分別求解P,H,Z,E,J五個參數優化的子問題，并在最后更新乘數。

具體子問題優化方法與乘數更新方法較為復雜，可詳見論文原文。

最終，算法流程如圖8所示。

圖8.LMSC算法流程

三、實驗結果

本文在真實數據集和合成數據集上進行了實驗評估，其中合成數據集用于驗證多視圖算法的效果。

實驗采用NMI,ACC,F-measure,RI等指標進行效果評價。

合成數據集實驗結果如圖9，真實數據集實驗結果如圖10，在MSRCV1數據集上使用t-SNE的對不同視角和潛在表示的可視化結果如圖11。可以發現，本文提出的方法在準確率等方面相比于現有方法有較大提升，而且多視圖相較于單視圖的效果有顯著提升。

圖9.合成數據集上的魯棒性實驗

圖10(a).真實數據集下各方法在聚類任務上的效果對比

圖10(b).真實數據集下單視圖與多視圖聚類任務效果對比

圖11.不同視角與潛在表示的對比

四、總結

本文提出了在多視圖數據上學習多視角潛在表示的方法，并使后續的聚類任務得到了性能提升。該方法充分利用了不同視圖之間的互補性，且不同于此前其它方法在單視圖下進行的數據重構。除此之外，由于方法基于多視圖和稀疏結構，因此具有較好的魯棒性。此后，對于大規模數據的處理和非線性核方法的應用可能會對該模型做進一步的優化。

---

參考文獻

C. Zhang, Q. Hu, H. Fu, P. Zhu and X. Cao, "Latent Multi-view Subspace Clustering," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 4333-4341, doi: 10.1109/CVPR.2017.461.

https://ieeexplore.ieee.org/document/8099944

?

---

歡迎關注公眾號，獲取更多論文解讀轉載或合作請聯系郵箱 intbioinfo@163.com

轉載時請注明出處

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的基于物化视图优化_CVPR2017|基于构造多视图子空间中的潜在表示解决聚类问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。