無監督學習論文閱讀

剛開始接觸這方面的內容，僅供參考。
Diversity Transfer Network for Few-Shot Learning （AAAI2020）[1]
這篇文章提出了一種新的深度聚類（ DeepCluster）：深度聚類采用聚類算法k-means對CNN絡產生的特征進行迭代，將預測的聚類簇作為偽標簽來計算損失并更新權重值。

由于特征和聚類同時進行會產生平凡解，為此作者提出：
1、避免平凡解
　　當一個簇變空時，隨機選擇一個非空簇，并使用帶有小隨機擾動的質心作為空簇的新質心。然后，將屬于非空簇的點重新分配給兩個結果簇。
2、避免平凡參數
如果輸入的數據分布不均勻，則學習的網絡參數θ則會專門去區分它們，參數θ會導致網絡只有相同的輸出。解決方法是對輸入數據進行重新采樣使得分布均勻，或使用偽標簽。
優點：可將網絡的到的特征直接用于聚類，并且將聚類與分類結合，在訓練中相互促進。且性能超過了當時SOTA無監督方法。
缺陷：在聚類前需要保存數據集中每個數據點的latent embedding ，這會帶來大量額外的開銷，內存消耗隨著數據集大小而線性增長。

Unsupervised Image Classification for Deep Representation Learning[2]

該文章基于deep clustering的無監督分類框架。
如上圖所示：黑色箭頭和紅色箭頭分別表示偽標簽和特征學習的過程，兩個過程反復交替實現，且當前Epoch的偽標簽生成的前置過程由上一Epoch 的結果來更新，這種框架比Deep Cluster快兩倍。為了解決在訓練中產生的局部最優解的問題，在模型生成label時，使用不同的數據增強方式。
結果：在線性分類器上和其他無監督方法做對比，結果較接近deep cluster,優于self-supervised。

隨后還做了一些更深入的實驗對比，在采用其他網絡結構的情況下，比simCLR和MoCov2要差，但是時間復雜度要比二者小。
**優點：**將偽標簽生成和特征學習過程集合在一起，速度快于Deep Cluster,且內存開銷較低。
**缺點：**在訓練初期，由于CNN模型初始化是隨機的，所以容易造成數據集中class為空的情況，此時需要將其余class中的數據分配給該class。
種無監督的訓練方法容易陷入局部最優，所以需要在模型生成偽標簽和訓練的時候加入增強數據。
Local aggregation for unsupervised learning of visual embeddings（ICCV 2019）[3]
該文提出了一種新的無監督學習算法Local Agg，與DeepCluster相同之處在于同樣使用迭代訓練，但每次迭代的具體過程有所不同，并沒有采用全局聚類，而是對樣本的最近鄰進行識別；其次，LA的優化了一個與DC不同的目標函數。在DC中通過神經網絡將非線性的Embeddings輸入到低維空間中。然后，迭代的識別每個樣本在Embeddings Space的近鄰(藍色點)和背景近鄰（黑色點）如下圖所示，同時優化嵌入函數以增強局部聚集度,使得相似的樣本距離減小，不同的樣本距離增大，這個過程稱為局部聚合（LA）。LA直接優化局部軟聚類度量的目標函數，不需要額外的readout，大大提高了訓練效率。最終在ImageNet、Places 205、PASCAL VOC中的目標檢測上實現了最先進的無監督遷移學習性能。

在ImageNet數據集上實驗結果如下：

優點：減少了計算所需要的開銷。
缺陷：LA訓練的RestNet-50,Embeddings的最近鄰中，出現了錯誤的近鄰，造成這一點的原因作者說是由于數據集的ImageNet，ill-posed造成的。
Unsupervised Learning of Probably Symmetric Deformable 3D Object（CVPR 2020）[4]

未完待續。。。。。

總結

以上是生活随笔為你收集整理的无监督学习论文阅读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。