這個工作是中科院王強(qiáng)博士的工作，也是第二個將特征提取網(wǎng)絡(luò)和協(xié)同濾波網(wǎng)絡(luò)級聯(lián)到一起進(jìn)行端到端訓(xùn)練的文獻(xiàn)，在后續(xù)先后出現(xiàn)了CREST、FlowNet with temporal and spatial atttention等。

1. 論文的意義

判別濾波器目前是在線目標(biāo)跟蹤領(lǐng)域非常主流的方法。當(dāng)前的發(fā)展方向主要是：

在傳統(tǒng)DCF基礎(chǔ)之上進(jìn)行多核等研究

融合深度學(xué)習(xí)，從最開始的訓(xùn)練深度特征提取器到目前的基于網(wǎng)絡(luò)的end-to-end設(shè)計

更加細(xì)致的研究spatial-temporal regularization

王強(qiáng)博士這篇文章對理解end-to-end的DCF設(shè)計具有很好的參考意義。

在這片文章中，作者設(shè)計了如圖一的輕量級的網(wǎng)絡(luò)機(jī)構(gòu)，同時完成卷積特征提取過程和在線協(xié)同濾波跟蹤。特別之處在于，在一個孿生網(wǎng)絡(luò)中Siamese network，作者將判別協(xié)同濾波器看陳特殊的協(xié)同濾波器層 special correlation layer， 王強(qiáng)博士也給出了詳細(xì)的反向傳播推導(dǎo)過程。因?yàn)橥茖?dǎo)仍然在傅里葉空間中進(jìn)行，所以DCFNet保留了非常好的跟蹤時效性（>60pfs）。

2.作者提出的網(wǎng)絡(luò)框架

首先回顧了判別相關(guān)濾波器的基本原理，然后詳細(xì)推導(dǎo)傳播過程，最后作者介紹了在線跟蹤過程，并從RNN的角度給出了一個合理的解釋。

2.1. 判別式相關(guān)濾波器

在標(biāo)準(zhǔn)的判別式相關(guān)濾波器中，我們根據(jù)目標(biāo)區(qū)域φ(x)∈M*N*D的特征 和 期待的高斯分布響應(yīng) y∈M*N訓(xùn)練一個判別式的回歸函數(shù)。那么，期待的濾波器w可以通過最小化脊損失（ridge loss）獲得：

☆代表循環(huán)相關(guān)，正是因?yàn)檠h(huán)相關(guān)可以在傅里葉空間內(nèi)進(jìn)行快速運(yùn)算，所以DCF才會具有非常高的時間性能。λ是正則化系數(shù)。

上面的公式可以求解，為：

^代表傅里葉空間，*代表復(fù)共軛，圈點(diǎn)代表hadamard product。

一旦我們構(gòu)建好了濾波器就可以直接用于檢測了，在后續(xù)過程只需要關(guān)注濾波器的跟新就好了（如何更新也是DCF研究的重點(diǎn)方向）。在檢測過程中， 我們首先在新的一幀中剪裁尋找區(qū)域search patch， 然后提取這個patch的特征φ(z)，通過定位濾波器的最大響應(yīng)就可以估計目標(biāo)在前后兩幀的平移，具體為：

2.2 DCFNet 推導(dǎo)：反向傳播過程

傳統(tǒng)的基于DCF的跟蹤器只能試探性的精修超參數(shù)，而本文提出的網(wǎng)絡(luò)結(jié)構(gòu)可以同時精修特征提取部分的超參數(shù)和DCF部分的超參數(shù)。就像圖一的網(wǎng)絡(luò)結(jié)構(gòu)圖所示，本文通過級聯(lián)特征提取網(wǎng)絡(luò)和DCF模塊得到目標(biāo)的位置響應(yīng)。當(dāng)給定搜索區(qū)域patch的特征φ(z)， 目標(biāo)響應(yīng)~g應(yīng)該在真實(shí)的目標(biāo)位置得到一個更高的響應(yīng)，所以目標(biāo)函數(shù)可以設(shè)計為：

? ??

很明顯，下面的公式是成立的：

因?yàn)榍跋蛲返牟僮鲀H包含Hadamard乘積和除法，我們就可以按元素求偏導(dǎo)：

所以，檢測階段網(wǎng)絡(luò)傳播為：

學(xué)習(xí)階段的網(wǎng)絡(luò)傳播為：

因?yàn)橄嚓P(guān)濾波層中的傳播操作仍然是在傅里葉空間中進(jìn)行的，我們可以保留DCF的快速跟蹤特性。離線使用大量數(shù)據(jù)集進(jìn)行測試，就可以得到一個功能定制的特征提取器為DCF在線跟蹤。

2.3 在線模型更新：一種RNN的解釋

在線跟蹤過程中，我們只需要更新濾波器空間的傅里葉變換系數(shù)。所以傳統(tǒng)的DCF優(yōu)化問題可以寫為一個增量模式：

同時，傳統(tǒng)DCF的閉式解也可以拓展到時間序列：

增量更新的好處在于，我們不需要一個大的樣本數(shù)據(jù)集，只需要很小的內(nèi)存占用。作者也是把該該過程看成了一個RNN網(wǎng)絡(luò)：

3.測試情況

特征提取層：VGG

訓(xùn)練視頻：NUS-PRO、TempleColor 128、 UAV123；

作者研究了切除性影響ablation analysis 、尺度變換數(shù)量的作用

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的DCFNET: DISCRIMINANT CORRELATION FILTERS NETWORK FOR VISUAL TRACKING的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。