MOSSE（Minimum Output Sum of Square Error）

題目：Visual Object Tracking using Adaptive Correlation Filters
來源：CVPR2010
作者：David S. Bolme等, Colorado State University

MOSSE可以算是相關濾波（CF）類跟蹤器的開山之作。

1. 信號相關

? ?信號處理中，用相關性描述兩個因素的關系。分為自相關（auto-correlation，自身信號在頻域的關系）和互相關（cross-correlation，兩個信號之間的關系）。
? ?互相關，也被稱為“滑動內積”（sliding inner-product）或“滑動點乘”（sliding dot product），通常用于在一個長序列($g$)中尋找一個短序列($f$)（即特征）。假設有兩個信號$f(t)$和$g(t)$，則兩個信號的相關性（correlation）為
$$\begin{array}{rl}(f?g)(\tau )\stackrel{\underset{\mathrm{d}\mathrm{e}\mathrm{f}}{}}{=}& {\int }_{?\infty }^{+\infty }{f}^{?}(t)g(t+\tau )dt={\int }_{?\infty }^{+\infty }{f}^{?}(t?\tau )g(t)dt\\ (f?g)[n]\stackrel{\underset{\mathrm{d}\mathrm{e}\mathrm{f}}{}}{=}& \sum _{m=?\infty }^{+\infty }{f}^{?}[m]g[m+n]\end{array}\text{\hspace{1em}(1.1)}$$
其中?表示互相關操作，$f^{?}$表示$f$的共軛，$\tau$表示信號f在t軸上向右滑動的大小(lag)。

互相關與卷積有相似的性質，只是沒有信號翻轉的步驟，即$$[f(t)?g(t)](t)=[f^{?}(?t)?g(t)](t)\text{\hspace{1em}(1.3)}$$

如果$f$ 是一個Hermitian函數（即$f(t)=f^{?}(?t)$）,則$f?g=f?g$.

根據卷積定理，有
$$\begin{array}{rl}\mathcal{F}\{f?g\}& =\mathcal{F}\{f{\}}^{?}?\mathcal{F}\{g\}\\ \mathcal{F}\{f(?t)\}& =\mathcal{F}\{f(t){\}}^{?}\end{array}\text{\hspace{1em}(1.4)}$$

自相關用于找出一個信號序列中的周期重復模式，lag=0 時取得峰值，峰值幅度表示信號能量。

2. 原理介紹

? ?兩個信號越相似，其相關值越高。在視覺跟蹤領域，就是找到與跟蹤目標響應最大的項。
? ?設輸入灰度圖像為$f$，濾波器為$h$，響應輸出為$g$，（注意，文中$f,h,g$ 的尺寸相等）則可表達為$$g=h?f\text{\hspace{1em}(2.1)}$$
? ?設定期望的輸出$g$是高斯函數（$g$可以為任意函數，文中取二維高斯形函數，$\sigma =2$，以訓練圖像$f$中的目標為中心），即在目標位置處相應最大，則只需解出濾波器h。為了簡化運算，可以利用卷積定理和互相關的性質，在傅里葉頻域求解，表達式為
$$\mathcal{F}\{g\}=\mathcal{F}\{h{\}}^{?}\odot \mathcal{F}\{f\}，即G=H^{?}\odot F，\text{\hspace{1em}(2.2)}$$
待求的$H^{?}$可由$H^{?}=G/F$ 得到。但是為了獲得更加魯棒的濾波器（應對目標發生形變等），需要同時考慮多個包含目標的訓練圖像$f_i$。由Parseval定理（下式第二個等號, 能量守恒），可得
$$error=\sum _i{\Vert h?f_i?g_i\Vert }^2=\frac{1}{MN}\sum _i{\Vert H^{?}\odot F_i?G_i\Vert }^2\text{\hspace{1em}(2.3)}$$
其中$f_i,g_i,h$的尺寸均為$M\times N$。可以通過優化下式得到$H^{?}$
$$mi{n}_{H^{?}}\sum _i{\Vert H^{?}\odot F_i?G_i\Vert }^2.\text{\hspace{1em}(2.4)}$$
? ?設$H_{wv}$ 為$H$ 矩陣的元素。由于在傅里葉頻域都是元素級運算（element-wise），因此上邊的優化目標等價于優化每個$H_{wv}$ ，即對上式求偏導，并使偏導為0:
$$0=\frac{?}{?H_{wv}^{?}}\sum _i{\Vert H_{wv}^{?}{F}_{iwv}?G_{iwv}\Vert }^2.\text{\hspace{1em}(2.5)}$$
經過頻域中復雜的求導推算，可以得到$H_{wv}=\frac{{\sum }_i{F}_{iwv}{G}_{iwv}^{?}}{{\sum }_i{F}_{iwv}{F}_{iwv}^{?}}$, 最后得到$H^{?}=\frac{{\sum }_i{G}_i\odot F_i^{?}}{{\sum }_i{F}_i\odot F_i^{?}}$. 當只有一個訓練樣本時，$H_i^{?}=\frac{G_i}{F_i}=\frac{G_i\odot F_i^{?}}{F_i\odot F_i^{?}}$, 過擬合會比較嚴重，使用平均化策略效果會比較好，即
$$H^{?}=\frac{1}{N}\sum _i\frac{G_i\odot F_i^{?}}{F_i\odot F_i^{?}}.\text{\hspace{1em}(2.6)}$$
為了保障求解的穩定性，在分母上加一個較小的正則項$\epsilon$（相當于在頻譜上增加一個白噪聲），試驗發現$\epsilon =0.1$時PSR（參見第3節）最高。
在第一幀時，對跟蹤框（groundtruth）進行隨機仿射變換（random affine transformations），獲取多個訓練樣本（文中為8個）$f_i$。在 $f_i$ 上以目標為中心做出對應的期望高斯相應$g_i$.
? ?為了使輸出連續光滑，作者加入了平滑濾波的更新策略，第i幀的MOSSE濾波器由下式得到
$$\begin{array}{rl}{H}_i^{?}& =\frac{A_i}{B_i}\\ A_i& =\eta G_i\odot F_i^{?}+(1?\eta )A_{i?1}\\ B_i& =\eta F_i\odot F_i^{?}+(1?\eta )B_{i?1}\end{array}\text{\hspace{1em}(2.7)}$$
其中$\eta$為學習率；較近幀在本幀的決策中的權重較大。作者通過實驗，發現$\eta =0.125$ 能夠使濾波器快速適應目標形變，還能保持較好的魯棒性。
? ?當在當前幀內 $M\times N$ 大小的檢測區域 $Z$ 進行檢測時，檢測結果為
$$y=F^{?1}{H}^{?}\odot Z\text{\hspace{1em}(2.8)}$$
新目標的估計位置即為相關分數矩陣$y$ 的最大值位置。

3. 算法性能

3.1 跟蹤效果評估指標 PSR

? ?PSR（The Peak-to-Sidelobe Ratio）峰值旁瓣比，衡量相關性峰值，檢測遮擋或跟蹤失敗，或獲取新出現的跟蹤目標。論文中定義檢測響應輸出矩陣y的最大值為峰值$y_{max}$，峰值附近11×11之外的區域定義為旁瓣（Sidelode）。${\mu }_{sl}$和${\sigma }_{sl}$為“旁瓣”區域的均值和標準差，則PSR定義為
$$\text{PSR}=\frac{y_{max}?{\mu }_{sl}}{{\sigma }_{sl}}.\text{\hspace{1em}(3.1)}$$
? ?作者通過實驗發現，當PSR取值在20~60之間，表明有很強的峰值（檢測結果顯著）；當PSR跌落到7附近時，則表明出現遮擋或檢測失敗。

3.2 速度

? ? 669fps （2.4Ghz Core 2 Duo）

3.3 效果展示

參考資料

https://blog.csdn.net/autocyz/article/details/48136473
https://en.wikipedia.org/wiki/Cross-correlation

總結

以上是生活随笔為你收集整理的目标跟踪 — MOSSE的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。