基于類平衡自我訓(xùn)練的無監(jiān)督域自適應(yīng)用于語義分割
摘要：最近的深度網(wǎng)絡(luò)實現(xiàn)了最先進(jìn)的性能在各種語義分割任務(wù)中。盡管有這樣的進(jìn)步，但是這些模型在現(xiàn)實世界中面臨挑戰(zhàn)，它們存在很大的差別在已標(biāo)簽訓(xùn)練/源文件和預(yù)測/目標(biāo)文件。這種差別被稱為“域差別”，并且會嚴(yán)重的導(dǎo)致性能下降不能輕易的通過進(jìn)一步增加表現(xiàn)力來補(bǔ)救。無監(jiān)督域自適應(yīng)（UDA）尋求在沒有目標(biāo)域標(biāo)簽的情況下解決這種問題。本文中，我們提出了一種新的基于迭代自訓(xùn)練程序的無監(jiān)督域的自適應(yīng)的網(wǎng)絡(luò)框架，其中問題被表述為潛在的可變損失最小化，并且可以通過在目標(biāo)數(shù)據(jù)上交替生成偽標(biāo)簽并使用這些偽標(biāo)簽重新訓(xùn)練模型來解決。在自訓(xùn)練之上，我們還提出了類平衡自訓(xùn)練的網(wǎng)絡(luò)框架，以避免大量的類在偽標(biāo)簽生成上逐漸占主導(dǎo)地位，并且引入空間先驗去細(xì)化生成的標(biāo)簽。綜合實驗表明本文提出的方法在多個主要UDA設(shè)置下取得了最先進(jìn)的語義分割性能。

目錄
1 引言 3
2 相關(guān)工作 4
3 初步措施 4
3.1 微調(diào)監(jiān)督域自適應(yīng) 4
3.2 自訓(xùn)練用于無監(jiān)督域適應(yīng) 5
4 提出的方法 5
4.1 帶自定進(jìn)度的自訓(xùn)練 5
4.2 類平衡自訓(xùn)練 6
4.3 自定進(jìn)度的學(xué)習(xí)策略設(shè)計 7
4.4 融入空間先驗 8
5 數(shù)值實驗 10
5.1 小轉(zhuǎn)變：跨城市適應(yīng) 10
5.2 大轉(zhuǎn)變：合成到現(xiàn)實的適應(yīng) 10
6 結(jié)論 12

1 引言
語義分割是計算機(jī)視覺核心任務(wù)，其中一個目的是密集地為輸入圖像中的每個像素分配標(biāo)簽。在過去十年中，該領(lǐng)域投入了大量精力[1,5,6,9,10,13,20,38,39,44,45], 最近深度代表性學(xué)習(xí)的進(jìn)展取得了相當(dāng)大的進(jìn)步[15, 19, 31]。開放的基準(zhǔn)數(shù)據(jù)集的競賽已經(jīng)取得了很多強(qiáng)大的模型，這些模型在這些基準(zhǔn)數(shù)據(jù)集上產(chǎn)生過擬合。盡管基準(zhǔn)性能的界限已經(jīng)被推到了新的極限，經(jīng)常在實際應(yīng)用中遇到挑戰(zhàn)，例如自動駕駛，其需要無處不在的感知模塊的良好性能。這是因為基準(zhǔn)數(shù)據(jù)集通常偏向于某個特定的環(huán)境，而測試場景可能會遇到大的問題它由許多因素引起的，包括地理位置，照明，攝像機(jī)，天氣狀況等的變化。在這種情況下，即使強(qiáng)大的模型的性能也經(jīng)常急劇下降，并且這樣的問題通過進(jìn)一步建立增強(qiáng)模型能力不能輕易地糾正 [9,16,17]。
提高網(wǎng)絡(luò)泛化能力的一個自然想法是收集和注釋覆蓋更多不同場景的數(shù)據(jù)。但是，密集注釋圖像是耗時且耗勞動力。例如，每個城市景觀圖像平均需要大約90分鐘來注釋[10]。為了克服這個約束，努力從渲染的場景有效地生成密集注釋的圖像，例如（GTA5）[24]和SYNTHIA [26]。然而，模擬/真實域之間的大的外觀差距顯著降低綜合訓(xùn)練的模型的性能。
根據(jù)上述的問題，我們關(guān)注語義分割的無監(jiān)督域自適應(yīng)的挑戰(zhàn)性問題，針對無監(jiān)督適應(yīng)在帶標(biāo)簽的源域訓(xùn)練分割模型到目標(biāo)域且不知道目標(biāo)標(biāo)簽。最近，無監(jiān)督的域自適應(yīng)已被廣泛用于分類和檢測任務(wù)。有一個主要趨勢是使用基于對抗訓(xùn)練的方法來匹配源特征和目標(biāo)特征的分布[3,9,12,17,29]。尤其是，這些方法旨在最小化域?qū)剐該p失，以減少源和目標(biāo)特征分布之間的全局和類別差異，同時通過最小化特定任務(wù)的損失來保持源域任務(wù)的良好性能。
基于域自適應(yīng)的對抗訓(xùn)練的方法最近取得了巨大成功。然而，在這項工作中，我們表明，通過采用另一種方式而不使用對抗性訓(xùn)練，可以獲得類似甚至更好的適應(yīng)性能。而不是通過混淆域鑒別器來嘗試進(jìn)行調(diào)整，而是將特征空間對齊和任務(wù)本身統(tǒng)一在一個統(tǒng)一的損失之下，這在第4節(jié)中給出。在單一的統(tǒng)一損失下，我們將全局和類別特征對齊結(jié)合作為我們統(tǒng)一任務(wù)的一部分，而不是考慮特征匹配和分類任務(wù)分開。
具有手工特征的傳統(tǒng)自訓(xùn)練方法是一種常見的半監(jiān)督學(xué)習(xí)方法，可以為源數(shù)據(jù)和目標(biāo)數(shù)據(jù)學(xué)習(xí)更好的決策邊界。通常這些方法不考慮特征分布匹配。但與CNN相結(jié)合，自訓(xùn)練變成一個強(qiáng)大的域自適應(yīng)方法，不僅可以學(xué)習(xí)更好的決策邊界，還可以找到匹配的源和目標(biāo)分布的特征空間。本質(zhì)上，由softmax交叉熵?fù)p失引導(dǎo)的自訓(xùn)練中的特征學(xué)習(xí)不僅鼓勵源和目標(biāo)特征的全局接近，而且還促進(jìn)分類特征對齊。基于CNN的自訓(xùn)練方法與基于全局和類別特征對齊方法的對抗訓(xùn)練具有相同的目標(biāo)[9,17]，但它試圖通過更簡單和更優(yōu)雅的方式來解決域自適應(yīng)。
基于域自適應(yīng)的自訓(xùn)練領(lǐng)域用于語義分割是不先進(jìn)的。我們提出了一個典型的基于CNN的自訓(xùn)練（ST）框架，用于語義分割中的域自適應(yīng)，其工作流程如圖所示。以GTA5→Cityscapes為例進(jìn)行調(diào)整。通過交替地生成對應(yīng)于目標(biāo)域中的大選擇分?jǐn)?shù)（即，softmax概率）的一組偽標(biāo)簽來執(zhí)行自訓(xùn)練。然后根據(jù)這些偽標(biāo)簽和標(biāo)記的源數(shù)據(jù)微調(diào)網(wǎng)絡(luò)。應(yīng)該提到的是，自訓(xùn)練假設(shè)預(yù)測概率較大的目標(biāo)樣本具有更好的預(yù)測精度。源域和目標(biāo)域之間的視覺（例如，外觀，規(guī)模等）域差別通常是類間的不同。這可能導(dǎo)致網(wǎng)絡(luò)不同的難度在每個類別學(xué)習(xí)可遷移知識的時候。例如，不同的國家可能有不同的建筑景觀和植物，但交通燈和車輛是相似的。因此，源域訓(xùn)練模型更難以學(xué)習(xí)建筑和植物的可遷移知識相比交通燈和車輛。此外，源域的不平衡類分布，源分布和目標(biāo)分布之間的差異也會導(dǎo)致難度不同在不同類別之間的遷移學(xué)習(xí)。這導(dǎo)致目標(biāo)域中各種類的不同預(yù)測置信水平。由于自訓(xùn)練選擇具有較大置信度的偽標(biāo)簽，因此傾向于偏向容易轉(zhuǎn)移的類而忽略其他類并且具有較差的適應(yīng)性能。
總之，我們在本文中專注于基于自訓(xùn)練的語義分割自適應(yīng)方法。 我們的貢獻(xiàn)如下。·
? 構(gòu)建一個深層網(wǎng)絡(luò)，我們引入了自訓(xùn)練且自定進(jìn)度的學(xué)習(xí)適應(yīng)框架用于分割。我們將其表示為混合整數(shù)非線性程序形式的損失最小化問題，可以以端到端的方式求解。域不變特征和分類器期望被學(xué)習(xí)。
? 為了解決ST中偽標(biāo)簽的類不平衡問題，我們提出了一種新的類平衡自訓(xùn)練（CBST）應(yīng)用于語義分割。提出CBST利用按類別歸一化的置信度分?jǐn)?shù)來選擇和生成具有平衡類分布的偽標(biāo)簽。
? 此外，我們觀察到交通場景有其自身的空間結(jié)構(gòu)，并引入了空間先驗（SP）的概念。我們將空間先驗加入提議的自訓(xùn)練，從而實現(xiàn)具有空間先驗（CBST-SP）的類平衡自訓(xùn)練。由空間先驗加權(quán)的概率分?jǐn)?shù)用于偽標(biāo)簽生成度量。
? 我們?nèi)嬖u估了適應(yīng)大規(guī)模渲染圖像數(shù)據(jù)集SYNTHIA / GTA5的方法，對于真實的圖像數(shù)據(jù)集，城市景觀，并實現(xiàn)最先進(jìn)的性能，大幅超越其他方法。我們還在跨城市適應(yīng)設(shè)置中測試我們的方法，cityscapes到NTHU數(shù)據(jù)集，并實現(xiàn)最先進(jìn)的性能。
2 相關(guān)工作
深度學(xué)習(xí)的革命引發(fā)了對基于深度神經(jīng)網(wǎng)絡(luò)的語義分割的廣泛興趣。Long et al. [20] 提出了一種用于像素級分類的完全卷積網(wǎng)絡(luò)。最近，一些研究人員提出了強(qiáng)大的分割網(wǎng)絡(luò)，如ResNet-38，PSPNet等[38,39,44]。
無監(jiān)督域適應(yīng)已經(jīng)在計算機(jī)視覺中被廣泛研究，主要用于分類和檢測任務(wù)。在深度神經(jīng)網(wǎng)絡(luò)時代，主要的適應(yīng)思想是通過以端到端的方式最小化源和目標(biāo)特征分布之間的差異來學(xué)習(xí)域不變特征[11,12,14,21,32,35,37]。其中，有幾種方法利用最大均值差異（MMD）及其內(nèi)核變量來實現(xiàn)特征分布差異最小化的目標(biāo)。最近，人們越來越關(guān)注利用基于對抗性學(xué)習(xí)的方法來縮小源域和目標(biāo)域之間的差距[14,21,36,37]。無監(jiān)督域適應(yīng)的另一個重要策略是基于自訓(xùn)練[4,47]，它在視覺和自然語言處理中有很多應(yīng)用[22,25,40,47]。Tang et al. [33] 提出了一種自適應(yīng)的適應(yīng)性，通過以易于難的方式學(xué)習(xí)標(biāo)記的源樣本和具有偽標(biāo)簽的目標(biāo)數(shù)據(jù)，將對象檢測模型從圖像轉(zhuǎn)換到視頻。Chen etal. [7]提出了一個適應(yīng)框架，通過使用來自共同訓(xùn)練的想法，從源域到目標(biāo)域慢慢調(diào)整其訓(xùn)練集。Bekker [2] et al. 解決了噪聲標(biāo)簽的問題。正如[43]指出的那樣，解決分類的方法不能很好地轉(zhuǎn)化為語義分割問題。因此，最近用于語義分割的域自適應(yīng)已成為熱門話題。一些研究人員專注于利用對抗性學(xué)習(xí)來最小化特征空間的域差別。[9,17]提出了像素級別對抗域自適應(yīng)方法，以減少特征空間中的域差別。基于領(lǐng)域?qū)剐杂?xùn)練，[28]引入了一個批評網(wǎng)絡(luò)，檢測邊界附近的樣本和生成器可以為目標(biāo)域生成判別特征。[43]提出了一種課程適應(yīng)方法，以規(guī)范目標(biāo)域中預(yù)測的標(biāo)簽分布，以遵循源域中的標(biāo)簽分布。解決域適應(yīng)問題的另一個可能方向是利用樣式轉(zhuǎn)移技術(shù)將帶注釋的源域圖像樣式化為目標(biāo)域圖像。根據(jù)這一想法，基于樣式轉(zhuǎn)移網(wǎng)絡(luò)CycleGAN [46]，[16]提出了一種周期一致的自適應(yīng)框架，將周期一致性損失與對抗性損失相結(jié)合，從而最小化像素級和特征級域差別。
3 初步措施
3.1 微調(diào)監(jiān)督域自適應(yīng)
如果源和目標(biāo)中相同任務(wù)的標(biāo)簽都可用，則可能最直接的方式來執(zhí)行域自適應(yīng)，并對兩個域上的模型進(jìn)行微調(diào)。對于語義分割網(wǎng)絡(luò)中softmax作為輸出，自適應(yīng)問題可以表示為最小化下面的損失函數(shù)：

其中Is表示索引的源域中的圖像s = 1, 2, …, S, ys,n人工標(biāo)記在 Is的第n個像素(n = 1, 2, …, N) ，w網(wǎng)絡(luò)的權(quán)重，Pn(w, Is) 是包含該類的softmax輸出像素n處的概率。類似的定義適用于It，yt,n和Pn（w，It）。
3.2 自訓(xùn)練用于無監(jiān)督域適應(yīng)
在無監(jiān)督域適應(yīng)的情況下，目標(biāo)的人工標(biāo)簽是不可用。微調(diào)分割模型的另一種方法是
將目標(biāo)標(biāo)簽視為可以學(xué)習(xí)的隱藏變量。 因此，問題可以表述如下：

其中y?表示目標(biāo)標(biāo)簽集，C是類別的數(shù)量，and e(i) a one-hot vector.關(guān)于y?通過最小化（2）式，優(yōu)化的y?會近似于真實目標(biāo)的人工標(biāo)記。域自適應(yīng)隨后可以近似的表示為（1）式。我們稱y?為偽標(biāo)簽，并且稱這個訓(xùn)練策略為自訓(xùn)練。
4 提出的方法
4.1 帶自定進(jìn)度的自訓(xùn)練
共同學(xué)習(xí)模型并優(yōu)化未標(biāo)記數(shù)據(jù)上的偽標(biāo)簽自然是困難的，因為不可能完全保證所生成的偽標(biāo)簽的正確性。一個更好的策略是遵循“由易到難”通過自定進(jìn)度課程學(xué)習(xí)的方案，其中我們試圖從生成的偽標(biāo)簽中找到置信度最高的那個預(yù)測標(biāo)簽并且希望他們大多數(shù)是正確的。一旦模型更新且能更好的適應(yīng)目標(biāo)域，隨后這個方案會尋找剩余的低置信度的標(biāo)簽。為了結(jié)合課程學(xué)習(xí)，我們考慮如下所示的自訓(xùn)練方程：

當(dāng)設(shè)定ys,n為0我們就忽略偽標(biāo)簽在模型中訓(xùn)練，L1正則化作為負(fù)稀疏推廣項以防止忽略所有偽標(biāo)簽的零解。k是控制忽略的偽標(biāo)簽數(shù)量的超參數(shù)。較大的k鼓勵模型訓(xùn)練選擇更多偽標(biāo)簽。為了最小化方程（3）中的損失，我們采用如下替代塊坐標(biāo)下降算法：
a) 關(guān)于y?t,n.修復(fù)（初始化）w且最小化方程3中的損失。
b) 關(guān)于w修復(fù)yt，n并優(yōu)化方程式（3）中的目標(biāo)。
我們稱之為a）的一步，然后是b）的一步作為一輪。在這項工作中，我們提出了一種自訓(xùn)練算法，其中步驟a）和步驟b）交替重復(fù)多輪。顯然，步驟a）從目標(biāo)域中選擇最有置信度的偽標(biāo)簽的某一部分，步驟b）在給定步驟a）中給出的偽標(biāo)簽去訓(xùn)練網(wǎng)絡(luò)模型。圖1示出了GTA5→Cityscapes的域適應(yīng)提出的算法流程。
求解步驟b）導(dǎo)致具有隨機(jī)梯度下降的網(wǎng)絡(luò)學(xué)習(xí)。然而，在給定對離散變量的優(yōu)化的情況下，求解步驟a）需要非線性整數(shù)編程。給定k>0，步驟a）可以重新表示為：

由于yt，n是需要離散的單熱矢量或零矢量，可以通過以下方程優(yōu)化偽標(biāo)簽配置：

與傳統(tǒng)的自訓(xùn)練不同，手工標(biāo)注的特征圖可以學(xué)習(xí)到域不變的分類器，基于CNN的自訓(xùn)練不僅可以學(xué)習(xí)域不變的分類器，還可以學(xué)習(xí)域不變的特征。softmax損失默默地嘗試減少特征空間中的域差異。此外，selftraining還具有缺失值（偽標(biāo)簽）問題，類似于EM算法。所提出的替代優(yōu)化方法可以在不先觀察目標(biāo)域標(biāo)簽的情況下學(xué)習(xí)模型的權(quán)重。
可以注意到，提出的框架類似于[33]和其他幾個相關(guān)的工作。然而，在單一學(xué)習(xí)框架下，偽標(biāo)簽生成與課程學(xué)習(xí)上意義一致，提出了更泛化的模型通過自訓(xùn)練和自定進(jìn)度的學(xué)習(xí)。更重要的是，就具體應(yīng)用而言，上述自訓(xùn)練框架揭示了適應(yīng)語義分割模型的相對新方向。我們將證明，與主要基于對抗性訓(xùn)練的許多現(xiàn)有技術(shù)方法相比，基于自訓(xùn)練的方法導(dǎo)致相當(dāng)好或競爭性能。
4.2 類平衡自訓(xùn)練
正如第一節(jié)所提到的，視覺域差別和類別分布的差異可能導(dǎo)致類別之間的域轉(zhuǎn)移難度不同，導(dǎo)致目標(biāo)域中易轉(zhuǎn)移的類別的預(yù)測置信度得分相對較高。由于自訓(xùn)練生成對應(yīng)于較大置信度的偽標(biāo)簽，因此出現(xiàn)了一個問題，即模型往往偏向于這些最初好轉(zhuǎn)移的類，并忽略了訓(xùn)練過程中的其他難的類。因此，自訓(xùn)練難以在多類別自適應(yīng)問題中表現(xiàn)良好。為了解決這個問題。我們提出了類平衡自訓(xùn)練的框架，其中類別置信度等級被規(guī)范化為：

其中每個kc是一個單獨的參數(shù)，用于確定類c中所選偽標(biāo)簽的比例。正如我們觀察到的那樣，kc之間的差異為偽標(biāo)簽選擇引入了不同級別的類別偏差，并解決了類內(nèi)平衡問題。
類平衡自訓(xùn)練的優(yōu)化流程與方程式(3)相同除了偽標(biāo)簽的生成。同樣，我們可以將偽標(biāo)簽的優(yōu)化的步驟重寫為：

注意公式（7）中的損失函數(shù)不能通過方程（3）的求解器隨便地最小化。相反，優(yōu)化方程（7）要求遵循類平衡求解器：

從式8中，我們可以看到方程（6）中的偽標(biāo)簽生成，不再依賴于輸出pn（c | w，It），但取決于歸一化輸出 。偽標(biāo)簽使用歸一化輸出擁有相對低分的類會是平衡的但是有高的類內(nèi)置信度的好處。因此，kc應(yīng)該以exp（-kc）編碼每個類的響應(yīng)強(qiáng)度來平衡不同類的某種方式設(shè)置。此外，對于CBST，只有當(dāng)所有平衡響應(yīng)都小于1時，才會過濾任意像素的偽標(biāo)簽。也可能有多個類 。在這種情況下，選擇具有最大平衡響應(yīng)的類。
4.3 自定進(jìn)度的學(xué)習(xí)策略設(shè)計
從前一節(jié)確定自訓(xùn)練的k，我們知道k在過濾掉小于k的概率的偽標(biāo)簽中起著關(guān)鍵作用。為了控制每輪中所選偽標(biāo)簽的比例，我們根據(jù)以下策略設(shè)置k：
我們采用每個像素的最大輸出概率，并按降序?qū)λ邢袼匚恢煤退心繕?biāo)圖像進(jìn)行排序。然后我們每輪(p ? T ? N)設(shè)置k使得exp（-k）等于已排名的概率。其中p是[0,1]之間的比例數(shù)。在這種情況下，偽標(biāo)簽優(yōu)化產(chǎn)生p×100％置信度最大的偽標(biāo)簽用于網(wǎng)絡(luò)訓(xùn)練。上述策略可以總結(jié)在算法1中。

我們設(shè)計了自定進(jìn)度的學(xué)習(xí)策略，以便為每一輪額外添加更多偽標(biāo)簽。特別地，我們從20％開始p，并且在每一輪額外的偽標(biāo)簽生成中憑經(jīng)驗將5％添加到p。最大部分設(shè)置為50％。
確定CBST的kc，CBST中的kc政策也是如此定義的。盡管CBST似乎引入了比ST更多的參數(shù)，但我們提出了一種易于確定kc的策略，并有效地編碼了類別置信度。
注意到算法2確定kc通過將所有像素作為類c且給類c一個概率排布，并每輪（p * Nc）設(shè)置kc使得exp（-kc）等于概率排名，其中Nc表示像素數(shù)預(yù)測為類別c，這種策略基本上將與每個分開的類別概率排在p×100％，作為閾值和置信度歸一化的參考。比例變量p及其增加的政策是與ST完全相同。
4.4 融入空間先驗
為了適應(yīng)街景的模型，我們可以利用空間先驗知識。交通場景具有共同的結(jié)構(gòu)。例如，天空不太可能出現(xiàn)在底部，道路不太可能出現(xiàn)在頂部。如果源域和目標(biāo)域中的圖像視圖相似，我們相信這些知識可以幫助調(diào)整源模型。因此，我們引入空間先驗，類似于[30]，通過計算源域中的類頻率，然后用70×70高斯核平滑。特別地，我們使用qn（c）來預(yù)測像素n處的類別c的頻率。在獲得類頻率之后，我們也通過 要求將它們標(biāo)準(zhǔn)化。圖2顯示了空間先驗的熱力圖，根據(jù)GTA5數(shù)據(jù)集計算，其中黃色代表高能量和藍(lán)色代表低能量。
將空間先驗引入提出的CBST，我們將softmax輸出與空間先驗相乘，并將結(jié)果潛力視為偽標(biāo)簽生成中的選擇度量：我們將softmax輸出與空間先驗相乘，并將結(jié)果潛能視為偽標(biāo)簽生成中的選擇度量：
?
?

我們將上述算法表示為CBST-SP。工作流程和自定進(jìn)度學(xué)習(xí)策略與CBST相同，除了潛在的qn（c）pn（c | w，It）是用于替換CBST中的pn（c | w，It）。應(yīng)該指出的是，納入空間先驗不會改變網(wǎng)絡(luò)訓(xùn)練，因為qn（c）可以取出log（·）作為常量。
5 數(shù)值實驗
在本節(jié)中，我們通過對三個基準(zhǔn)數(shù)據(jù)集進(jìn)行實驗，對所提出的方法進(jìn)行全面評估。我們首先考慮從cityscapes轉(zhuǎn)向NTHU數(shù)據(jù)集的跨城市適應(yīng)案例[9]。在[9]之后，我們選擇Cityscapes的訓(xùn)練集作為源。NTHU數(shù)據(jù)集包含4001,024×2,048來自4個不同城市的：羅馬，里約，東京和臺北。我們還考慮兩個具有挑戰(zhàn)性的問題：從SYNTHIA [26]到Cityscapes [10]，從GTA5 [24]到Cityscapes。我們使用SYNTHIA-RANDCITYSCAPES子集，包括標(biāo)記的9,400 760×1280圖像。GTA5數(shù)據(jù)集包括從GTA5捕獲的帶注釋的24,966 1,052×1,914個圖像。Cityscapes的驗證集被視為目標(biāo)域。
實施細(xì)節(jié) 我們使用FCN8s-VGG16 [20]作為SYNTHIA到Cityscapes和GTA5到Cityscapes的基礎(chǔ)網(wǎng)絡(luò)，以便與使用相同基網(wǎng)的其他方法進(jìn)行公平比較。此外，我們通過更好的模型ResNet-38 [39]來提升我們方法的性能。在跨城市環(huán)境中，我們通過CBST與ResNet-38展示最先進(jìn)的性能。 這些網(wǎng)絡(luò)在ImageNet上進(jìn)行了預(yù)訓(xùn)練[27]。 SGD通過MXNET已被用于訓(xùn)練所有模型[8]。我們使用NVIDIA Titan Xp。 在CBST和CBST-SP實驗中GTA5到cityscapes和cityscapes到NTHU，我們使用硬樣本挖掘策略，根據(jù)目標(biāo)預(yù)測部分挖掘最少的預(yù)測類。挖掘類是最差的5類，最優(yōu)先考慮的是類比例小于0.1％的類。其他更多細(xì)節(jié)在補(bǔ)充文件中提供。

5.1 小轉(zhuǎn)變：跨城市適應(yīng)
NTHU數(shù)據(jù)集包含與Cityscapes共享的13個類。我們遵循與[9]相同的協(xié)議使用10倍交叉驗證。指出每個類的IoU（Intersection-overUnion）和mIoU（平均IoU）。表1顯示了結(jié)果。 與最先進(jìn)的技術(shù)相比，我們的CBST實現(xiàn)了卓越或競爭的性能。
5.2 大轉(zhuǎn)變：合成到現(xiàn)實的適應(yīng)
從SYNTHIA 到 Cityscapes 我們遵循相同的評估協(xié)議和其他工作一樣[17,43]，我們選擇SYNTHIA和CITYSCAPES之間的16個相同類作為有效標(biāo)簽。還有另外一個設(shè)置只考慮13個類別，不包括墻，圍欄和桿[34].
表2報告了結(jié)果。mIoU *是13個類別的平均IoU，不包括以FCN8s-VGG16為基礎(chǔ)模型的類，與其他方法相比，我們的CBST表現(xiàn)得很有競爭力。配備更好的基礎(chǔ)網(wǎng)ResNet-38，CBST的性能優(yōu)于最先進(jìn)的ST，具有FCN8s-VGG16或ResNet-38的CBST可以為這些最初不能很好轉(zhuǎn)移的類的mIoU和IoU實現(xiàn)更好的性能，如墻，騎手，摩托車和自行車。SYNTHIA（汽車障礙物）中柵欄的外觀與城市景觀（行人障礙物）中的柵欄極為不同，并且模型很難從SYNTHIA到Cityscapes學(xué)習(xí)柵欄的可遷移知識。圖3給出了Cityscapes中的可視化分割結(jié)果。

From GTA5 to Cityscapes 表3給出了共享19類的實驗結(jié)果。以FCN8s-VGG16為基本模型的結(jié)果，ST的性能表明適應(yīng)的模型會很容易地偏向最初的易轉(zhuǎn)移的類。然而，CBST不僅實現(xiàn)了比ST更好的mIoU，而且對于這些最初的難以轉(zhuǎn)移的類別也獲得了更好的IoU。此外，由于來自GTA5和Cityscapes的圖像具有相似的視圖結(jié)構(gòu)，我們評估了我們提出的CBST-SP，實現(xiàn)了mIoU 36.1，這比使用強(qiáng)大的基礎(chǔ)模型ResNet-50 [28]和DenseNet [23]的結(jié)果更好。配備強(qiáng)大的ResNet-38型號，我們的方法獲得了更好的分?jǐn)?shù)46.2，大大優(yōu)于其他方法。多尺度測試（0.5,0.75,1.0）將mIoU提升至47.0。圖4給出了Cityscapes中的可視化分割結(jié)果。

6 結(jié)論
在本文中，我們提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的自訓(xùn)練（ST）框架，用于在語義分割的背景下進(jìn)行無監(jiān)督域自適應(yīng)。ST被公式化為損失最小化問題，允許以端到端的方式學(xué)習(xí)域不變特征和分類器。引入了類平衡自訓(xùn)練（CBST）來克服通過生成具有平衡類分布的偽標(biāo)簽在類之間轉(zhuǎn)移困難的不平衡問題。此外，如果圖像視圖中存在小的域差異，我們可以將空間先驗（SP）合并到CBST中，從而產(chǎn)生CBST-SP。我們通過實驗證明，我們提出的方法可以獲得優(yōu)異的結(jié)果，大大超過其他最先進(jìn)的方法。我們憑經(jīng)驗證明我們提出的方法與對抗域適應(yīng)方法兼容。

總結(jié)

以上是生活随笔為你收集整理的*基于类平衡自我训练的无监督域自适应用于语义分割的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。