個人論文閱讀筆記，可能存在許多瑕疵和錯誤，歡迎評論指正，謝謝~~

1. 總括

盲點網絡BSN假設噪聲信號是像素獨立且零均值的情況下，從相鄰噪聲像素重建干凈像素而不參考相應的輸入像素。然而已知真實噪聲（圖像上存在的真實噪聲，并非合成噪聲）具有空間相關性，這不符合BSN的基本假設：噪聲與像素無關。

由于像素獨立于噪聲等不太實際的假設，使用自監督盲點去噪網絡處理空間相關的真實噪聲具有挑戰性。為了打破真實噪聲的空間相關性，PD通過使用固定步長因子對噪聲圖像進行了下采樣來創建馬賽克 ，從而增加噪聲信號之間的實際距離。然而，當以完全自我監督的方式處理真實噪聲時，將PD集成BSN并非易事，如果沒有來自額外的噪聲清潔合成對的知識，它就無法獨立存在。造成這種限制的主要原因是像素獨立假設和重建質量之間的權衡。例如，較大的PD步長因子（＞3）可以確保嚴格的像素獨立噪聲假設，并有利于訓練期間的BSN。然而，它也會破壞噪聲圖像中的詳細結構和紋理。相反，較小的PD步長因子（＜3）在訓練BSN時，保留了圖像結構，但不能滿足像素獨立假設。

受這些觀察結果的啟發，本文提出了非對稱PD（AP），它使用不同的步幅因子進行訓練和推理。對于真實噪聲，我們系統地驗證了訓練和推理步長的特定組合可以彌補彼此的缺點。然后，將AP集成到BSN（AP-BSN），它可以學習以完全自我監督的方式去噪真實噪聲輸入，而不需要任何潛在噪聲的先驗知識。所提出的AP可以解決特定PD步長因子引起的固有權衡，并使用BSN適用于實際場景。此外，提出了隨機替換細化（），這是一種新的后處理方法，可以不增加任何額外訓練（任何參數）的的情況下提高AP-BSN的性能。

2. BSN and PD

2.1. Blind-spot network.

BSN是傳統CNN的變體，它沒有看到感受野的中心像素來預測相應的輸出像素。BSN?可以學習以自監督的方式對噪聲圖像進行去噪。為了簡單起見省略了顏色通道,所以圖像的分辨率為H×W。要訓練BSN，必須滿足以下兩個假設：噪聲時空間上的，既像素級的、獨立的和零均值的。在這樣的假設下，最小化自監督損失等價于傳統的監督學習，如下所示：

其中是噪聲輸入的干凈真實值，是監督去噪損失函數，c是常數。

圖2表示，在現實世界中，相鄰像素之間的噪聲強度基于其相對距離顯示出不可忽略的相關性。由于相鄰的噪聲信號可以作為推斷看不見的中心像素的線索，我們已經確定BSN在真實的sRGB圖像上作為近似恒等映射。

2.2. Pixel-shuffle downsampling?

PD被用于打破真實噪聲中的空間相關性。具體來說，被視為步長因子為s像素重組的逆操作。由于真實噪聲信號與少數相鄰像素有關，PD過程中的下采樣可能會打破它們之間的依賴關系。然后傳統的去噪算法可以應用于降采樣圖像，其中PD逆運算之后重建全尺寸輸出。為了保留圖像紋理和細節，將步長因子設置為2，即，以獲得最佳性能。

PD原文關于PD的解釋：Pixel-shuffle Down-sampling被定義為通過以步幅 s 對圖像進行采樣來創建馬賽克。與線性插值、雙三次插值和像素面積關系等其他下采樣方法相比，對噪聲圖像進行Pixel-shuffle和最近鄰下采樣不會影響真實的噪聲分布。此外，與其他像素相比，Pixel-shuffle還可以通過保留圖像中的原始像素來促進圖像恢復。這兩個優勢產生了 PD 策略的兩個階段：適應和細化?

3. Method

我們的目標是以自監督的方式在真實的sRGB圖像上推廣BSN，為此，我們采用PD并最小化以下損失來訓練BSN：

其中，是和BSN的管道的輸出，即。我們使用范數來更好地泛化，而不是損失。首先將給定的噪聲圖像分解為子圖像。是這些子圖像的平鋪，如圖4所示。然后，我們將BSN應用于子圖像，并使用PD逆運算重建輸出。

當使用等式（2）中的自監督損失進行訓練時，PD-BSN不適用于真實噪聲圖像。圖像3c和3d表明and無法從給定的噪聲輸入中恢復干凈清晰的圖像，無論PD步長因子是多少。

3.1. PD-BSN中的權衡

3.1.1. Breaking spatial correlation

最初，PD被提出用于減少真實圖像中相鄰噪聲信號直接的空間相關性。雖然zhou等人采用步長因子2，但我們在圖像2a中的分析表明，步長因子應至少為5，以最小化給定噪聲信號中的相關性。換句話說，子圖像的噪聲信號仍然是空間上相關的。其中，BSN的像素獨立噪聲假設不成立。

3.1.2. Aliasing artifacts(混疊效應)

隨著步長因子s變得更大，來自的子圖像遭受更強的混疊程度。從信號處理的角度來看，當原始信號沒有適當的帶寬限制時，降采樣會出現混疊。由于PD過程在子采樣之前不利于低通濾波器，我們已經確定，當應用大跨距PD時，混疊作為一種噪聲形式發生，例如s＝5，如圖4所示。

和之間的比較。每個操作分別將給定圖像分解為 4 和 25 個子圖像。在來自 PD5 的子圖像中，我們用紅色標記了混疊偽影，即黑點，這可以解釋為 BSN 的噪聲。且該偽影沒有出現在藍色子圖像中。?

3.2. Effective training stride factor for PD-BSN

我們建立了一個訓練的策略，為此，必須最小化訓練輸入圖像中噪聲信號之間的相關性。然而，如第3.1節所述，不足以打破真實世界噪聲的空間相關性。由于不滿足BSN的基本假設，該模型無法學習使用進行去噪。通過設置s＝5來抑制訓練樣本中噪聲信號之間的空間相關性，我們可以在較小的子圖像上訓練BSN。

我們注意到，BSN還學習了消除由大PD步長因子引起的混疊效應。當在下采樣之前未移除高頻信號時，就會發生混疊。由于原始噪聲圖像中的高分辨率分量變化迅速，我們可以忽略子圖像中混疊效應的空間相關性。效應也滿足零均值約束，即其統計均值與中噪聲圖像的統計均值大致相同，因為它們是觀察信號的隨機樣本，由于混疊效應滿足BSN的兩個先決條件，PD-BSN也學會了刪除它們。

3.3. Asymmetric PD for BSN

一些研究已經確定，訓練樣本和測試樣本之間的匹配數據分布在準確的圖像去噪中起著關鍵作用。在應用PD-BSN時，自然可以使用相同的步長因子進行訓練和推理。然而，我們發現學習的BSN將來自的混疊偽影識別為噪聲信號，以便在推理過程中去除。由于這些偽影包含重建高頻細節的必要信息，在推理過程中破壞圖像結構，同時去除噪聲。?

相反，我們在PD-BSN的推理過程中提出了一個非對稱步長因子，我們稱之為非對稱。a和b分別是訓練和推理的步長因子。設置b＝2，以便子圖像在推理期間包含最小的混疊偽影，同時可以降低相鄰噪聲信號之間的相關性。我們的BSN和擬議的可以學習以自我監督的方式去除真實世界的噪聲，同時保留圖像結構。AP-BSN不需要任何干凈的樣本進行訓練，并且在實際場景中直接適用于sRGB噪聲圖像。圖5說明了我們針對AP-BSN的非對稱訓練和推理方案。

?

擬議的 AP-BSN 和 ?后處理概述。我們可視化提出的 。為了將 BSN 應用于真實 sRGB 圖像，我們引入了 以最大化使用不同的步幅因子進行訓練和推理的協同作用。使用較大的步幅因子，例如 a = 5，以確保訓練噪聲信號之間的像素獨立性。在推理過程中，使用最小步幅因子 b = 2 來避免混疊偽影，同時在一定程度上打破噪聲的空間相關性。我們的隨機替換細化 () 進一步提高了 AP-BSN 的性能，無需任何額外參數 。

3.4. Random-replacing refinement

即使步長因子最小，PD和后續去噪步驟也可能會從輸入中刪除一些信息豐富的高頻成分，從而產生視覺偽影。因此，zhou等人提出來了PD細化。以抑制PD過程中的偽影，并增強去噪結果的細節。PD細化，第i個替換圖像公式如下：

其中是個二進制掩膜，指示要替換的像素，并且表示元素相乘。在這里，是一個結構化的二進制矩陣，其中以2的固定步長放置，并且。替換后，再次對每個圖像進行去噪并取平均值，以重建最終結果，如下所示：

?

其中D是針對像素獨立噪聲的去噪模型，T是原始PD細化的掩碼數。

然而，PD細化中確定性策略在被替換的噪聲信號之間留下了不可忽略的相關性。具體而言，如圖6a所示，中被替換的噪聲像素始終與其一些鄰居相關。這種相關性會對以下去噪方法D的性能產生負面影響，該方法假設存在空間不相關噪聲。因此我們提出一種先進的隨機替換細化（）策略來緩解PD細化的局限性。

PD-refinement 和我們的 之間的比較。雖然 PD-refinement 采用步長為 2 的常規二進制掩碼 ，但我們的 使用隨機掩碼 ?。?在圖(a) 中比較了替換圖像 和中噪聲信號的預期空間相關性。 (b) 每個灰色框代表原始噪聲圖像 中的一個像素，它替換了 中的去噪像素

在我們的中，我們采用T隨機化二進制掩膜，其定義如下：?

其中（x，y）表示H×W矩陣中元素的索引。對于等式（3）和等式（4），我們采用隨機掩膜，而不是固定的來獲得最終輸出。由于噪聲像素隨機放置在第i個替換圖像中，因此兩個噪聲信號之間的預期相關性乘以p，如圖6a所示。因此，與之前的PD細化相比 ，我們的顯著降低了預期相關性。當我們將和AP-BSN相結合時，我們不執行PD，而是直接將替換后的圖像饋送給BSN，因為輸入中噪聲的空間相關性幾乎可以忽略不計。圖6突出了PD細化和我們之間的主要差異。

?完結~~

總結

以上是生活随笔為你收集整理的AP-BSN: Self-Supervised Denoising for Real-World Imagesvia Asymmetric PD and Blind-Spot Network的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。