文章題目

• 等待讀的論文
• 1 Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation AAAI2021
• 2 Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations CVPR2020
• 3 Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation ICCV2019
• 4 Geodesic flow kernel for unsupervised domain adaptation
• 5 Maximum classifier discrepancy for unsupervised domain adaptation
• 6 Deep coral: Correlationalignment for deep domain adaptatio & return of frustratingly easy domain adaptation
• 7 Deep domain confusion: Maximizing for domain invariance
• 8 How transferable are features in deep neural network
• 9 Stochastic Classifiers for Unsupervised DomainAdaptation
• 10 Multi-representation adaptation network for cross-domain image classification[J]. Neural Networks, 2019, 119: 214-221
• 11Domain Conditioned Adaptation Network
• 12Transfer-ability vs. discriminability: Batch spectral penalization foradversarial domain adaptation

等待讀的論文

1 MinimumClass Confusion for Versatile Domain Adaptation

1 Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation AAAI2021

網(wǎng)絡(luò)湖面跟著兩個分類器，C1 和 C2，對于同一個樣本的預(yù)測概率，除了在真實樣本的位置上的概率要大，其他的部分的概率最好是盡量要差異大寫一些，這樣的話可以保證兩個分類器的輸出存在較大差異。

2 Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations CVPR2020

對分類器的概率輸出，使用了矩陣角度的考量，對其進行優(yōu)化。從兩個目的進行了優(yōu)化，分別是：

判別性

所謂判別性，指的是預(yù)測類別的過程是否堅定。比如對于二類問題的響應(yīng)

[0.9,0.1]判別性較高， [0.6,0.4]判別性較低。

常見的方法采用最小化熵來得到較高的判別性。我們發(fā)現(xiàn)矩陣A的F范數(shù)與熵有著相反的單調(diào)性，從而可以通過最大化A的F范數(shù)來提升判別性。
多樣性
多樣性可以近似表達為批量矩陣中預(yù)測的類別數(shù)量，即預(yù)測的類別數(shù)量多則響應(yīng)多樣性大。
考慮不同類別響應(yīng)的線性相關(guān)性，如果兩個響應(yīng)屬于不同類別，那么響應(yīng)會差別較大線性無關(guān)，如果屬于相同類別則近似線性相關(guān)。

[0.9,0.1]與[0.1,0.9]線性無關(guān)， [0.9,0.1]與[0.8,0.2]近似線性相關(guān)。

那么預(yù)測類別數(shù)也就是矩陣中最大的線性無關(guān)向量數(shù)，即矩陣的秩。

3 Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation ICCV2019

這篇文章的出發(fā)點是解決數(shù)據(jù)分布的差異性，但是卻從二范數(shù)的角度進行的推理分析，將源域和目標域的特征的二范數(shù)規(guī)范的足夠大，便能夠解決遷移后的性能下降問題。文章的亮點是揭示了DA問題的本質(zhì)是特征范數(shù)（文章自己說的），而不是從特征的整體分布上進行對其。文章為了讓范數(shù)逐漸變大，采用了逐步增大特征范數(shù)的方法，而不是給范數(shù)設(shè)定了一個固定的值。

4 Geodesic flow kernel for unsupervised domain adaptation

GFK 這個論文，介紹了如何將源域特征映射到目標域，使用的方法是先尋找到一條測地線路徑，然后將源域順著這個路徑光滑地走過來，用到了積分，而不是選定了幾個點，分為幾個步驟走過來。有提一個知乎的文章講的很好：https://zhuanlan.zhihu.com/p/27782708

5 Maximum classifier discrepancy for unsupervised domain adaptation

這篇文章的思想還是沒能很好地理解
這篇文章設(shè)置了兩個不同的分類器，使用了對抗方法，在利用源域數(shù)據(jù)訓(xùn)練了generator和兩個classifier的基礎(chǔ)上，在使用target數(shù)據(jù)的時候，一方面是在固定genarator的基礎(chǔ)上，更新兩個分類器的參數(shù)，使得classifier 1和2對同一個目標樣本的差異盡量的大，另一方面是在固定了兩個分類器的情況下，更新generator，使得generator的輸出能夠使得兩個分類器產(chǎn)生相同的輸出。在衡量分類器的輸出差異性上面，采用的是絕對值損失。
整個算法過程分為三步：
（A） 利用源域數(shù)據(jù)訓(xùn)練 G C1 C2
（B）對于一個target 樣本的輸入，固定G，更新C1 和C2， 目標是增大C1和C2 的輸出之間的差異
（C）對于一個target 樣本的輸入，固定C1 和C2，更新G， 目標是減小C1和C2 的輸出之間的差異

這個對抗過程，和將源域與目標域區(qū)相混淆的對抗生成很相似，只不過是之前的那種是為了使得G出來的特征源域和目標域是一致的，這篇文章的目的是使得G出來的特征還是沒想好怎么解釋，怎么理解

6 Deep coral: Correlationalignment for deep domain adaptatio & return of frustratingly easy domain adaptation

這兩篇文章都是在協(xié)方差矩陣上，讓源域特征和目標域特征進行對齊操作，這里面一個有意思的地方是如何計算協(xié)方差矩陣。

7 Deep domain confusion: Maximizing for domain invariance

這篇文章最先將MMD應(yīng)用到DA領(lǐng)域，相當(dāng)于開山鼻祖了。

8 How transferable are features in deep neural network

這篇文章是對網(wǎng)絡(luò)結(jié)構(gòu)的細致分析，說是在網(wǎng)絡(luò)的前幾層，基本上所有任務(wù)的參數(shù)都很相似，就是一個通用的參數(shù)，相當(dāng)于一個過濾器，在網(wǎng)絡(luò)后面的參數(shù)則是和特定任務(wù)和特定的訓(xùn)練集相關(guān)了。這篇文章探討了從那一層開始，是從通用到特定任務(wù)的轉(zhuǎn)換。
這個文章中涉及到了如何設(shè)置實驗來驗證哪些層是提取通用特征，那些層是特定于任務(wù)的。

9 Stochastic Classifiers for Unsupervised DomainAdaptation

這個文章是在MCD的基礎(chǔ)上進行的討論，說的是分類器越多，性能越好，那么可以設(shè)置無窮多個分類器嗎？顯然是不行的，因為參數(shù)量太大。那么本文就是提出了一個隨機分類器的思想，之前的分類器是由一個個向量構(gòu)成的，這篇文章中將分類器中的參數(shù)看成一個分布，在訓(xùn)練的過程中是對這個分布進行的優(yōu)化。文中的思想，重點是在下面這段話。

10 Multi-representation adaptation network for cross-domain image classification[J]. Neural Networks, 2019, 119: 214-221

這篇文章在多個表征空間中進行域適應(yīng)，不同于以往的只是針對一個樣本的單個特征進行域適應(yīng)，這個文章中會對一個樣本提取多個特征，然后分別進行域適應(yīng)，最后將所有的特征進行concat

11Domain Conditioned Adaptation Network

兩點motivation
（1）在開始的幾層，卷積層既要學(xué)習(xí)不同數(shù)據(jù)中的知識，也要學(xué)習(xí)domain-specific的知識
（2）在task-specifc 層中，將源域和目標域?qū)R
針對第一點，文章提出了DCAN，其實就是類似于基于channel的注意力機制，將每個通道進行GAP，然后將形成的向量通過FC層，最終將得到的向量和原來的特征MAP進行一個相乘
針對第二點，文章將task-specific層的特征又過了兩個FC層，對于target數(shù)據(jù)而言，將經(jīng)過兩個FC得到的特征作為補償特征與原始特征相加，相加后得到的特征再與src的特征進行MMD優(yōu)化。此外，一個假設(shè)是當(dāng)源域也經(jīng)過該FC后得到的特征應(yīng)當(dāng)是不變的，為了保證這個不變性，文章抽取了子集與進行不變性的學(xué)習(xí)。

12Transfer-ability vs. discriminability: Batch spectral penalization foradversarial domain adaptation

這篇文章從奇異值的角度出發(fā)，提升域適應(yīng)的性能。這篇文章提到了兩個內(nèi)容，分別是transferability和discriminability，也就是遷移能力和區(qū)分性能力。
文章得出的結(jié)論是將特征矩陣進行奇異值分解后，較大的奇異值是起到了保證transferability的能力，較小的奇異值保證了discriminability的能力，文章提出的將較大的一些奇異值進行正則化的方法，提升了域適應(yīng)問題的表現(xiàn)性能。
文章的代碼在這了：https://github.com/thuml/Batch-Spectral-Penalization

總結(jié)

以上是生活随笔為你收集整理的domain adaptation论文记录的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。