从近年顶会论文看领域自适应（Domain Adaptation）最新研究进展
?PaperWeekly 原創 ·?作者 | 張一帆
學校 | 中科院自動化所博士生
研究方向 | 計算機視覺
Domain Adaptation 即在源域上進行訓練，在目標域上進行測試。
本文總結了近兩年 ICML/NeurIPS 的幾篇文章，分別覆蓋了幾種 DA 的新 setting 以及新的理論/方法。
CIDA
論文標題：
Continuously Indexed Domain Adaptation
收錄會議：
ICML 2020 Oral
論文鏈接：
https://arxiv.org/abs/2007.01807
代碼鏈接：
https://github.com/hehaodele/CIDA
目前已有的 domain 劃分都是按類別的，即每個 domain 有一個固定的域標簽。但是在日常生活中，domain 并不只是一個常數能夠代表的，比如 RGB 圖像和深度圖像。
很多實際問題包含了連續變化的 domain，在醫藥領域，domain 可以是用戶的年齡，這是一個連續的值，在自動駕駛領域場景的變化從白天到黑夜，是一個連續的過程。
先來看一個文中給出的簡單樣例，以二分類為例（紅色和藍色），給定六個 source domain 和其他域的無標簽數據，想要去盡可能的提升在其他目標域的表現。
我們先來看一些傳統算法的表現，對于簡單的 adversarial learning，他想要學得一個 invariant representation 是的域分類器無法判別樣本的來源，他學到的分類面如下所示，泛化性能并不是很好。
作者表達了傳統方法在這種 setting 上不 work 的原因是不能有效地利用大量，連續變化的標簽。本文的 intuition 是，對于上例，其實每個 domain 對應了一個旋轉角度，本文給出的模型實際上也很簡單，如下所示，就是將 label 也作為 encoder 的輸入，在此基礎上執行 adversarial training。
但是此時作者還觀察到一個現象，如果我們將前三個 domain 拿出來單獨分析，會發現這三個domain拿來預測標簽得到的分布不盡相同，他們可能只是均值相同，并不是很好的對齊了特征的預測分布。
本文給出了改進方案，即我們直接對其輸出分布的數字特征：均值與方差，改進后的網絡結構與損失如下所示。
本文的理論貢獻主要有三點：
1. 證明了 CIDA 方案收斂，當且僅當 對于任何 是相同的；
2. 證明了 PCIDA 方案收斂，當且僅當均值和方差對于任何 是相同的；
3. 證明了 的 two-player 博弈和 的 three-player 博弈全局最優點一致。
展示一下 CIDA 在 Sine 數據集上得到的分類面，可以看到比起 baseline，文中所提到的算法在 continuous index 的情況下取得了更平滑，效果更好的分類面。
DSAN
論文標題：
Domain Adaptation with Invariant Representation Learning: What Transformations to Learn?
收錄會議：
NeurIPS 2021
論文鏈接：
https://openreview.net/pdf?id=zdmF437BCB
代碼鏈接：
https://github.com/DMIRLAB-Group/DSAN
本文的 intuition 在于，以往的大多數方法使用同一個 encoder 處理不同域的數據，這樣的做法在一些情況下不能學到一個對邊緣分布具有不變性的特征。也有一些工作選擇對源域和目標域使用不同的 encoder，但是這種方法目前仍存在一定的問題，比如（1）使用兩個 encoder 的動機尚不清楚；（2）目前 UDA 還沒有一個方法可以保證不變性特征 具有足夠的語義信息。
本文的符號和假設如下， 分別是圖像和標簽， 是隱變量， 是一個 nuisance，即 domain 間的風格差異等。
本文首先給出了兩個特例，即下圖，左側源域是正態分布，目標域是均勻分布而且二者有 overlap。然而在 overlap 的地方，兩個分布的密度并不相同。文章說明了如果源域和目標域有重疊而且在重疊區域密度不同，那么使用單一的一個 encoder 不足以學到 invariant representation 。
本文給出了他們的解決方案，與傳統工作的不同點在于：
1. 將 建模為 domain index 的函數，因此 encoder 的輸入其實有兩個，其為 ；
2. 為了最小化 帶來的影響，文中額外添加了一個 decoder 來約束，如下圖所示，就是會將 tgt/src domain 的 都給到 source domain 的隱變量，然后兩個重構要讓我們的分類器無法辨別來源于哪個 domain；
3. 不同的 domain 對應不同的 encoder。
展示一部分實驗結果：
IDOL
論文標題：
Gradual Domain Adaptation without Indexed Intermediate Domains
收錄會議：
NeurIPS 2021
論文鏈接：
https://papers.nips.cc/paper/2021/file/45017f6511f91be700fda3d118034994-Paper.pdf
代碼鏈接：
https://github.com/hongyouc/IDOL
當目標域和源域的差異很大的時候，UDA 算法的性能往往會很差，Gradual domain adaption（GDA）是一個解決方案，它可以利用每個 domain 漸進的偏移來提升 DA 的性能，但是往往需要額外域的標簽，比如人的年齡信息，本文提出了一個更加 challenging 的 setting：如果沒有額外域的標簽，我們如何使用 GDA 的算法。
那么公式化本文其實是要解決這樣一個問題，即我們在源域的模型 ，然后提出的 IDOL 模型將無標簽的一大堆數據分成中間域 ，模型漸進的在每個中間域 self-training，目標是最終在目標域取得不錯的性能。
要直接完成這個任務是非常困難的，因為評估預測的多個域標簽需要將整個流程跑一遍。因此本文提出了一個漸進式的解決方案：
1. 首先給每個 sample 一個分數 ，這個分數大概確定了 在 src 到 tgt 的位置。有了這個分數其實我們都可以將他們按序排列然后分到 個 chunk 里即可；
2. 為了提升這個分配方式，進一步考慮分組到同一領域的數據如何能夠集體地保存來自前一個領域的 discriminative knowledge。這里可能有點難以理解，下文介紹方法就明白了。
第一步的做法很簡單，self-training 以及 OOD 樣本檢測都有如下的普遍現象：模型置信度越低，說明樣本越有可能是 OOD 的，即 ，取類中置信度最高的。這種方法的一個缺點是會大概率選中那些易于區分的樣本。本文也嘗試了其他方法，比如這里也會訓練一個 source 和 target 的域分類器，來對之間的域進行打分，
第二步稍微有些復雜，為了維持在上一個 domain 學到的分類信息，作者定義了 cycle-consistency 的損失函數。這個過程的 intuition 是這樣的，我們從如果我們在 domain 0 上有一個 train 好的模型，他在距離較近的 domain 1 上表現應該也不錯，那么我們漸進的在 domain 1 上完成了 self-training，那他也應該在 domain 0 上表現不錯，這就是所謂的 cycle-consistency。
Implicit Semantic Response Alignment
論文標題：
Implicit Semantic Response Alignment for Partial Domain Adaptation
收錄會議：
NeurIPS 2021
論文鏈接：
https://papers.nips.cc/paper/2021/file/731b03008e834f92a03085ef47061c4a-Paper.pdf
代碼鏈接：
https://github.com/implicit-seman-align/implicit-semantic-response-alignment
Partial Domain Adaptation（PDA）即目標域的標簽是源域標簽的一部分，目前的大多數工作旨在對源域進行加權以減小標簽的不一致，本文相信來自這些額外類別的樣本仍然包含有價值的信息，可以促進 PDA。例如，貓和狗有明顯的區分等級的特征；然而，它們也有許多共同的語義信息，包括皮毛、四條腿等等。因此，本文期望通過隱式語義來探討不同類別之間的關系，并實現語義層次的對齊。
本文的結構如下：
主要分為如下幾步：
1. implicit semantic discovery：將圖像通過一個 class2vec 模塊轉化為一系列的語義信息（直觀來看就是一組 embedding，每一個 embedding 對應一種語義信息），這里通過一個 auto-encoder 的重構方式來訓練 class2vec 模塊；
2. Topic attention reception：為了得到我們 backbone 特征和這些語義信息的關系，這里使用一個 attention 模塊將計算每個特征對每個語義信息的相應（一個權重），因此我們就可以得到每一個特征對語義信息們的權重向量（mask）；
3. Semantic topic alignment：使同一語義對應的 src mask 和 tgt mask 向量盡可能相似，這使我們的模型能夠從特定語義上具有相似度的額外類中遷移樣本所包含的相關語義信息。
看一部分實驗效果：
BPDA
論文標題：
The balancing principle for parameter choice in distance-regularized domain adaptation
收錄會議：
NeurIPS 2021
論文鏈接：
https://proceedings.neurips.cc/paper/2021/file/ae0909a324fb2530e205e52d40266418-Paper.pdf
代碼鏈接：
https://github.com/Xpitfire/bpda
傳統 UDA 算法通常由一個分類損失和一個正則化損失組成，但是如何選擇二者的 tradeoff parameter 是一個仍未解決的問題，因為我們并沒有 tgt domain 的 label，因此無法對每個參數帶來的性能進行驗證，在實驗中現有工作往往將其作為一個超參數。本文從理論出發，找到了一個設置最優 tradeoff parameter 的方法。
其實算法很簡單就是通過 DA bound 的那一套理論推出了如下的方法，給一組 和相應的模型 ，根據算法中的條件進行選擇。
特別鳴謝
感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝?稿件基本要求：
? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題
? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
·
·
·
·
·
總結
以上是生活随笔為你收集整理的从近年顶会论文看领域自适应（Domain Adaptation）最新研究进展的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 深度学习开发者的AI Party来了！W
- 下一篇： 龙蟒佰利股票怎么样 上半年净利大增业