FC4: Fully Convolutional Color Constancy with Confidence-weighted Pooling

• 網絡結構
• 權重池化層
• 總結

基于patch的CNN網絡會因為patch包含的信息不足，無法確定一個唯一的顏色或者范圍。在此提出一個基于全卷積網絡結構，其中patch可以攜帶用于估計顏色恒定的置信度權值。權重在一個獨特的（novel）pool層中學習和應用，在該層中局部估計被合并到全局解中。用了該公式網絡話就知道在數(shù)據集中要學習什么并且如何pool而不需要額外的監(jiān)督。還允許端到端的訓練。

網絡結構

網絡生成的特征圖（4維度）被傳遞到加權池層，從局部到全局進行聚合，生成之前所說的顏色恒定性估計。我們強制前三個通道表示每個對應patch估計出的顏色元組p ?_i=g(R_i )，最后一個通道表示對最終全局估計的置信度c_i=c(R_i )
然而，由于顏色恒常性問題的性質，最優(yōu)模型至少受到兩個重要性質的約束：
（1）網絡應該能夠提取足夠的語義特征來區(qū)分模糊的patches（如無紋理的墻壁）以進行照明估計；
（2）網絡不應該是照明不變的，但它應該對不同的燈光顏色敏感。
如我們所見，第二個要求違反了在分類任務訓練網絡中嵌入的知識，因為照明條件不應影響對象的類別。不幸的是，具有較強語義信息提取能力的網絡通常對光照條件的變化也不敏感，這意味著提取的特征對光照顏色具有不變性。為了在上述兩個特性之間找到一個很好的平衡，我們嘗試了不同的網絡配置。我們嘗試了一個去掉conv4和/或conv5的較淺版本的AlexNet，發(fā)現(xiàn)性能變差，可能是由于語義特征提取能力不足。此外，我們還嘗試了conv6的其他核大小，包括1×1、3×3和10×10，但是發(fā)現(xiàn)6×6，即AlexNet經過卷積層后的原始輸出大小，得到了最好的結果。為了減小模型尺寸，我們用擠壓網[25]v1.1進行了實驗，發(fā)現(xiàn)它也能帶來良好的效果。

權重池化層

當c（Ri）=1等于1時，就是一種特殊情況。在我們的網絡中，由于FCN的結構，卷積操作在同一個圖像中的patch之間共享，而對于基于patch的cnn，每個patch需要依次通過同一個網絡。也存在其他的池方法，例如完全連接池或最大池；但是，它們要么缺乏靈活性（即需要特定的輸入圖像大小），要么已經被證明對于顏色恒定性估計不是非常有效。根據[38]，中值池做得更好，因為它可以防止異常值直接影響全局估計，但在很大一部分估計是噪聲的情況下，它并不能完全消除它們的影響。此外，即使我們將其合并到端到端的訓練管道中，每次損失也只能反向傳播到圖像中的單個（中值）面片，忽略面片之間的成對依賴關系。
數(shù)學分析

在估計值p ?_i 中，方向是一致的，但是大小由權值ci來決定。這個置信度可以作為mask來減少我們學習到的噪聲。

直觀地說，只要局部估計有助于全局估計更接近地面真實，網絡就增加了相應的置信度。否則，置信度就會降低。這正是學習置信度的方法。

總結

該方法是需要真實光照值和圖片來進行訓練的。我自己讀的就是作者通過分割圖片，然后通過網絡得出四個通道的值，用最后一個通道的值去乘前三個通道，再求和得出真實圖像。但是這里還是有很多問題不是很明白：
1.最后的求和真的是最后一個通道去分別乘前三個通道再相加嗎？
2.CNN網絡在目標探測時是不希望對亮度敏感的。那么用CNN是不是無法完成亮度調整。

今天的學習都沒學明白，啥也不是，散會。

總結

以上是生活随笔為你收集整理的基于置信加权池的全卷积保证颜色恒常性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。