出于為了解決AE中的梯度消失，是否可以使用殘差網(wǎng)絡(luò)或者dense net解決的心態(tài)，我搜到了這篇文章Deep Embedded Clustering with Asymmetric Residual Autoencoder。

本文的亮點：

使用了一個非對稱的、殘差的autoencoder來訓(xùn)練樣本；

將clustering融合入模型，解決end-to-end問題；

非對稱訓(xùn)練得到的AE更加適合clustering；

因為將模型融合，導(dǎo)致AE的訓(xùn)練存在一些constraint（滿足clustering），優(yōu)化更加容易。

A clustering layer has been incorporated into ADREC to form an end to end solution and optimize the network with the help of the clustering result feedback.

模型分為兩個部分，embedding部分和clustering部分。如圖1，左邊是一個4-res-Blocks的殘差網(wǎng)絡(luò)，右邊是一個Dense+3-TransposeConv，文中用的clustering是k-means。

損失由2個部分組成。

$L_r$是MSEi重構(gòu)誤差，$L_c$是一個KL散度（相對熵）。

其中$q_{ij}$是i個數(shù)據(jù)分到j(luò)類的概率，${\mu }_j$是j類的聚類中心，假設(shè)了一個student分布。如下圖，v=1，于是有式（3）

式（4）比較扯，沒搞懂，暫且認(rèn)為是非線性即可。

最后因為只有clustering，會導(dǎo)致AE的嵌入空間失真，所以將他們組合起來。

According to [11], the embedded space will be distorted if the encoder is finetuned only using the clustering loss.

結(jié)果還行，在常見的數(shù)據(jù)集中。

總結(jié)

以上是生活随笔為你收集整理的Deep Embedded Clustering with Asymmetric Residual Autoencoder的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。