論文連接https://arxiv.org/abs/1904.01990

代碼：https://github.com/zhunzhong07/ECN

目錄

1.文章賣點：

2.研究背景

3.研究方法

3.1總體敘述

3.2?網(wǎng)絡(luò)框架及損失函數(shù)

---

1.文章賣點：

1.引入了存儲器的概念，比較新穎

2.將監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)相結(jié)合

2.研究背景

行人再識別面臨的三個特殊問題：

1）源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)集類別不同

2）相機風(fēng)格變化導(dǎo)致的圖片差異不同

3）僅考慮源域和目標(biāo)域之間的整體域間的差異，忽略了目標(biāo)域的域內(nèi)變化。

傳統(tǒng)的方法主要是減少源域和目標(biāo)域之間的特征分布差距。然而，這些研究在很大程度上忽略了目標(biāo)域中的域內(nèi)變化，其中包括影響目標(biāo)域上的測試性能的關(guān)鍵因素。

前兩個問題作者在以前的論文中HHL中介紹了。https://link.springer.com/chapter/10.1007%2F978-3-030-01261-8_11

3.研究方法

3.1總體敘述

本文主要解決了第三個問題，全面研究了目標(biāo)域的域內(nèi)變化，并基于域內(nèi)不變性提出了可行的模型泛化方法，引入了記憶模塊用以存儲目標(biāo)數(shù)據(jù)在訓(xùn)練過程中的中間特征。

作者將將re-id模型概括為三種類型的基礎(chǔ)不變性，即：樣本不變性、相機不變性、鄰域不變性。

Memory?的兩個作用：其一是，用于存儲在訓(xùn)練過程中所有目標(biāo)圖像的特征，可以快速的計算目標(biāo)域中局部樣本和源域全局樣本的相似性；其二是，可以有效的在模型訓(xùn)練中加入提出的三個不變性限制。三個不變性性質(zhì)對提升域適應(yīng)的性能是不可或缺的。

這個結(jié)構(gòu)是非常好的。

本文主要研究了域內(nèi)變化和三個不變性。

? ? ? ? ? ? ? ? ? ? ? ??

其中域內(nèi)變化針對的是目標(biāo)域；（目標(biāo)域和源域的類完全不同）

三個不變性：樣本不變性：強制將每個人的樣本靠近自身并遠(yuǎn)離他人來學(xué)習(xí)未標(biāo)記目標(biāo)數(shù)據(jù)的明顯相似性

? ? ? ? ? ? ? ? ? ? ?相機不變性：相機風(fēng)格的變化可能會改變?nèi)说耐獗?#xff0c;然而通過相機風(fēng)格轉(zhuǎn)換生成的圖片仍然是屬于原ID。考慮這一點，在假設(shè)人物圖像和相應(yīng)相機風(fēng)格轉(zhuǎn)換圖像應(yīng)該靠近彼此的情況下強制執(zhí)行相機不變性。

? ? ? ? ? ? ? ? ? ? ? 鄰域不變性：假設(shè)已經(jīng)提供了在源域和目標(biāo)域上訓(xùn)練好的re-id模型，目標(biāo)域上的目標(biāo)樣本及其鄰域可能具有相同的ID，考慮這一問題，將樣本及其可靠地鄰域彼此接近來實施鄰域不變性。

這三個不變性主要是靠三個損失函數(shù)來解決的。

3.2?網(wǎng)絡(luò)框架及損失函數(shù)

? ? ? ? ? ? ? ? ? ? ? ? ??

網(wǎng)絡(luò)包括兩個分支，藍(lán)色分支是有標(biāo)簽的source數(shù)據(jù)庫，對應(yīng)監(jiān)督學(xué)習(xí)，利用softmax計算分類損失（利用交叉熵?fù)p失來計算源域的損失）；橙色分支對應(yīng)無標(biāo)簽的target數(shù)據(jù)庫，對應(yīng)無監(jiān)督學(xué)習(xí)（有三個損失函數(shù)對應(yīng)三個不變性）用Memory用作存儲功能為每個目標(biāo)保存FC-4096層的最新輸出，通過估計mimi-batch中的目標(biāo)樣本與樣本存儲器中保存的整個樣本之間的相似性來計算目標(biāo)域的不變性學(xué)習(xí)損失。將兩個分支的損失加權(quán)相加，使兩個分支可以同步對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

Baseline:

作者使用的是ImageNet上進(jìn)行預(yù)訓(xùn)練的ResNet-50作為網(wǎng)絡(luò)骨干。具體來說，將ResNet-50層保留到Pooling-5層作為基礎(chǔ)網(wǎng)絡(luò)，并在pooling-50層之后添加4096維的全連接層（FC）.新的FC層名為Fc-4096,后面接著是批量標(biāo)準(zhǔn)化、Relu、Dropout.

第一條支路我們使用的是交叉熵?fù)p失用于優(yōu)化網(wǎng)絡(luò)：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

它的目地就是對于給定類別的圖片訓(xùn)練出對ID敏感的嵌入，就是把行人再識別當(dāng)做分類任務(wù)來做。

樣本記憶模塊主要是在反向傳播是利用? ? ? ? ? ? ? ? ? ? ? ? ? ? ???

更新樣本存儲器的密鑰特征。

?

樣本不變性：

將樣本Nt目標(biāo)圖像視為Nt不同的類，并將圖像分類為自己的類。給定目標(biāo)圖像Xt,i? ,我們首先計算其特征與Memory存儲器中保存的特征之間的余弦相似度，然后使用softmax函數(shù)計算xt,i? 屬于該類的預(yù)測概率：

? ? ? ? ? ? ? ? ? ?

對應(yīng)的損失函數(shù)為：

? ? ? ? ? ? ? ? ? ? ??

?

?相機不變性：

對于相機不變性的直觀理解，就是同一個人不管用哪個相機拍攝圖片，網(wǎng)絡(luò)都應(yīng)該識別的出來。本著這一思想，可以想到使用GAN把一張圖片轉(zhuǎn)換成多張圖片的風(fēng)格。

作者采用的是starGan（CycleGAN只能實現(xiàn)兩兩之間的轉(zhuǎn)換而StarGAN則可以實現(xiàn)一到多個領(lǐng)域之間的轉(zhuǎn)換）。

作者選擇的是目標(biāo)域的圖片，目標(biāo)域存在C個相機，作者對于每個圖片學(xué)習(xí)生成了C中風(fēng)格（其中有一張對應(yīng)自己相機風(fēng)格）。對應(yīng)的損失函數(shù)為：

? ? ? ? ? ? ? ?? ?

鄰域不變性：

對于每個目標(biāo)圖像，目標(biāo)數(shù)據(jù)中可能存在許多正樣本。如果我們可以在訓(xùn)練的過程中利用這些正樣本，我們就能夠進(jìn)一步提高模型在克服目標(biāo)域變換方面的魯棒性。為了實現(xiàn)這個目標(biāo)，首先計算了f(Xt,i)與存儲在密鑰存儲器k 中的特征之間的余弦相似度，然后在K中找到其K-最近鄰域，并將他們的索引定義為M(Xt,i? ,k ).在假設(shè)目標(biāo)圖像Xt，i 應(yīng)屬于M(Xt,i? ,k ).中選類的情況下，我們將鄰域不變性賦予網(wǎng)絡(luò)。

其概率權(quán)重：

? ? ? ? ? ? ? ? ?? ?

領(lǐng)域不變性的目標(biāo)被表述為軟標(biāo)簽損失：

? ? ? ? ? ? ? ? ? ? ?? ??

總體失去不變性：

通過聯(lián)合考慮樣本不變性、相機不變性、鄰域比變性，對目標(biāo)訓(xùn)練圖像的不變性學(xué)習(xí)的整個損失可以寫成：

? ? ? ? ? ? ? ? ? ? ??

通過結(jié)合源域和目標(biāo)域的損失，網(wǎng)絡(luò)的最終損失表示為：

? ? ? ? ? ? ? ? ? ? ? ? ?

實驗部分才用了消融實驗的方法對文章提出的方法進(jìn)行測試。

總結(jié)

以上是生活随笔為你收集整理的关于Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification 论文理解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。