無監督圖像分類問題是圖像分類領域一項極具挑戰的研究課題，本文介紹了無監督圖像分類算法的發展現狀，供大家參考學習。

作者 | 郭冰洋

編輯 | 言有三

1 簡介

近年來，深度學習在圖像識別領域取得了前所未有的進步，究其根本，可以歸功于數據集容量的擴充和計算資源的提升。

現階段的圖像分類任務在很大程度上是靠監督學習實現的，即每個樣本都有其對應的標簽，通過深度神經網絡來不斷學習每個標簽所對應的特征，并最終實現分類。這種情況下，數據集的容量、標簽的質量往往對模型的性能起到決定性的作用。

如果將神經網絡看做一輛在賽道上奔馳的F1賽車，數據集則是為其不斷提供動力的能源。如果沒有高質量的數據集作為基礎，也就無法驅動神經網絡進行訓練。

高質量數據集自然會帶來標注的困難，據統計，標記單張圖像中的單個物體類別大約需要2到3秒的時間，但實際應用中的數據集往往包含上千上萬張圖片，整個標注過程就會變得格外漫長。尤其是在涉及到細粒度分類和多標簽分類任務時，標注成本會隨著目標數量、可辨識難度呈指數級增長。

在這一背景下，有關無監督圖像分類的研究也變得愈發火熱，大致可以分為數據集變換和聚類分析兩種方向，本文將圍繞兩種方向對無監督圖像分類的研究現狀展開介紹，從以供各位讀者參考。

2 基于數據集變換的算法

數據集變換即對現有數據集構建新的表示方式，使其包含的特征更加容易被理解，也就是所謂的降維和降噪，主要方法有PCA、T-SNE。

1、PCA

PCA算法即主成分分析算法，是機器學習領域中一種典型的旋轉數據集的方法，旋轉后的特征在統計上不相關。通過數據集的旋轉，可以根據新特征對解釋數據的重要性來構建子集，從而構造新的數據集表示方式。

2、T-SNE

T-SNE作為近年來應用廣泛的數據分析算法，其主要思想是找到數據的二維表示，并盡可能地保持數據點之間的距離，然后嘗試讓在原始特征空間中距離較近的點更加靠近，原始特征空間中相距較遠的點更加遠離。其重點關注距離較近的點，而不是保持距離較遠的點。

從原理上來說上述兩種數據集變換的方法復雜度較高，并且其算法的目標太明確，使得抽象后的低維數據中沒有次要信息，而這些次要信息可能在更高層看來是區分數據的主要因素。所以這兩種算法大多運用在網絡訓練前的數據預處理階段，為后續操作提供相應的先驗知識。

3 基于聚類分析的算法

聚類分析是無監督學習中最常用的方法之一，并在機器學習領域取得了非常廣泛的應用，許多研究人員都試圖把成熟的聚類算法與深度學習相結合，以實現更加高效的學習策略。

目前的研究成果大致可以分為基于K-means算法的無監督分類和基于信息不變性的無監督分類兩種。

1、基于K-means算法的無監督分類

DCN網絡[1]提出一種自編碼器（auto-encoder）的方法，同時進行網絡的學習和聚類。編碼器學習輸入數據的潛在特征，將高維特征映射到低維子空間中，輸入給K-means聚類模型進行聚類，而解碼器則對特征進行還原，使得特征重構成原始數據，這有利于網絡學習更加重要的特征，忽略一些不重要的特征。

Deep Cluster[2]在DCN網絡的靈感上同樣將聚類和分類兩個分支任務融合到一起，通過K-means算法實現了對網絡特征的聚類。其創新點在于將聚類的結果作為偽標簽，更新網絡的參數，進一步讓網絡預測這些偽標簽。這兩個過程依次進行，取得了相當好的預測結果。

Associative Deep Clustering則提出一種直接利用深度神經網絡進行聚類的方案，而不是將網絡提取到的特征圖再送入聚類模型進行額外的訓練，其主要靈感是讓網絡在較深的層學習數據的結構類型，從而提煉某類數據的質心以完成聚類。

基于K-means實現的無監督分類算法其主要思想均是將聚類模塊嵌入神經網絡所提取到的特征層之后或者直接讓網絡學習數據的結構特征。這一方法雖然取得了一定的成果，但是缺乏相應的語義過濾過程，無法保證所利用的特征都是有意義的，這也在一定程度上會影響最終的分類結果。

2、基于信息不變性的無監督分類

如上節中所說，傳統聚類算法與深度學習的搭配并非天作之合，往往還需要借助前文中所述的數據集變換操作，以提供更多的先驗知識。

因此，相關研究人員將目光聚集到神經網絡本身，期望對網絡結構進行相應的改進，以更好地利用圖像特征信息以實現聚類。信息不變性網絡（Invarient Information Clustering CNN[3]）便是其中的典型代表。

IIC-CNN通過對CNN稍作改動，構建兩個輸入分支，為了做到無監督，模型對每張圖片x做一次轉換操作（?平移、旋轉或crop ）得到另一張圖片 x’。輸入轉換圖像的分支作為輔助層直接進行聚類訓練。同時，為了讓模型更好辨認相同類別的對象，IIC-CNN采用了互信息最大化目標函數，盡可能使得網絡的聚類效果更好?。

這一方法相較于傳統聚類算法、深度學習與聚類融合的算法取得了非常大的進步，在諸多數據集的對比訓練中均取得了傲人的成績，這也是一個非常有意義的研究內容。

4 總結

現階段，基于深度學習的無監督圖像分類研究尚處于發展階段，加之問題的難度較大，其研究成果相較于其他方向較少，同時也僅在某些簡單的數據集上進行實驗，并未真正大規模的應用到實際場景。

因此，為了更好的使無監督圖像分類得到廣泛的應用，我們必須探究傳統算法的優勢，緊密結合神經網絡的特點，提出更多更有創意的思路，以實現更大的突破。

參考文獻

[1]?Yang B, Fu X, Sidiropoulos N D, et al. Towards k-means-friendly spaces: Simultaneous deep learning and clustering[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 3861-3870.

[2]?Caron M, Bojanowski P, Joulin A, et al. Deep clustering for unsupervised learning of visual features[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 132-149.

[3]?Ji X, Henriques J F, Vedaldi A. Invariant information distillation for unsupervised image segmentation and clustering[J]. arXiv preprint arXiv:1807.06653, 2018.

有三AI夏季劃

有三AI夏季劃進行中，歡迎了解并加入，系統性成長為中級CV算法工程師。

轉載文章請后臺聯系

侵權必究

往期精選

• 【技術綜述】你真的了解圖像分類嗎？

• 【技術綜述】多標簽圖像分類綜述

• 【圖像分類】分類專欄正式上線啦！初入CV、AI你需要一份指南針！

• 【圖像分類】從數據集和經典網絡開始

• 【圖像分類】 基于Pytorch的多類別圖像分類實戰

• 【圖像分類】細粒度圖像分類是什么，有什么方法，發展的怎么樣

• 【圖像分類】 基于Pytorch的細粒度圖像分類實戰

總結

以上是生活随笔為你收集整理的【图像分类】简述无监督图像分类发展现状的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。