結(jié)構(gòu)性約束事件聚合下的在線多目標跟蹤方法

Structural Constraint Event Aggregationdata associationMOTMTT

讀‘J.H. Yoon, C.R. LEE, et.al., Online Multi-Object Tracking via Structural Constraint Event Aggregation [C], CVPR2016’筆記。

對我而言，這篇文章的主要貢獻點在于提出一種結(jié)構(gòu)性約束事件聚合的方法用于data association和mis-detection 的recovery。

Structural Constraint

object的狀態(tài)表示:分別表示t幀中第i個目標的location，velocity，size。這里表示速度的符號和我們常用的不大一樣，為了更好的理解全文，我們沿用文中的符號。 那么t幀中所有的目標狀態(tài)集為,,是目標的個數(shù)。

任意兩個目標之間的結(jié)構(gòu)信息使用相對位置和相對速度來表示

損失函數(shù)
關(guān)聯(lián)矩陣,分別表示目標和檢測的個數(shù)，t時刻檢測量的狀態(tài)表示為,表示所有的檢測量，那么數(shù)據(jù)關(guān)聯(lián)問題可形式化如下：

顯然約束的第一項保證每一個觀測量最多只對應一個object，第二項保證任一個目標要么對應唯一一個觀測量，要么mis-detected，最后一項顯然最差情況下目標都被漏檢。

為了適應相機發(fā)生較大移動的情形，文中認為在連續(xù)幀圖像中目標之間的相互結(jié)構(gòu)關(guān)系不會發(fā)生太大變化，于是就將結(jié)構(gòu)信息加入到了數(shù)據(jù)關(guān)聯(lián)的損失函數(shù)中了，希望assignment能夠保持結(jié)構(gòu)信息。在assignment過程中，先匹配一對目標與觀測量，稱為錨點，錨點對齊之后利用結(jié)構(gòu)信息匹配剩余的目標和觀測量，這樣最終計算出損失。使損失最小的assignment就是得到的關(guān)聯(lián)矩陣了。

這個式子我覺得理解的有問題，我認為應該是一個集合，是所有可能的assignment的loss的集合，然后尋找最小loss對應的assignment。所以不應該有前面的求和符號吧，而應該補充
式子中第一項表示對應的錨點,其相異性分別表示size和appearance上的相異性

計算size相異性，分別對應目標和observation的高和寬，計算表觀的非相似性時使用的是巴氏距離，根號里面表示直方圖分布。

表示錨點匹配后，之間的相異性。

上面下的第三項就是添加結(jié)構(gòu)約束下位置的相異性

上面是將和間的相對關(guān)系轉(zhuǎn)移到以對齊的空間上，然后計算和待匹配的之間的非相似性，相似性使用的是overlap ratio。是指box bounding。

Event Aggregation

使用上面的loss function能夠找到最終的assignment，但是需要注意的是對于同一個assignment，如果選擇不同的錨點對，那么得到的損失值也是不相同的。比如目標(a,b,c)和觀測(1,2,3),對于同一個匹配(a,1),(b,2),(c,3),我們在對齊(a,1)時不能保證后兩對對齊，同樣的對其其他對時也不能保證剩余的對對齊。為了更加客觀公正的評價assignment，文中將屬于同一個assignment的不同錨點對條件下的損失聚合起來，然后使用均值后的損失評價該assignment的損失

對于某個Assignment,

注意這個式子和(2)是不一樣，前面求和下有的約束表示該assignment對齊

這里使用匹配的點對數(shù)計算均值，以方便進行對比。

上面兩個過程可以通過下圖來理解

1480427585856.jpg

看到前面的時候我就疑惑，遍歷所有的assignments應該是NP-hard問題吧，不可能實現(xiàn)啊？！所以文章中給出了一種簡單有效的event initialization and reduction方法。

首先采用門限策略，限制能夠匹配的點對

不符合條件的點對保持,這樣就會剔除好多assignments。
進一步對點進行劃分成較小區(qū)域，使得區(qū)域之間不可能存在關(guān)聯(lián)，那么只需要遍歷小區(qū)域內(nèi)的assignments,找到最優(yōu)的assignments之后在組合起來形成大的assignment，當然在partition的過程中，structural constraint也被劃分。文中將每一個劃分中目標的個數(shù)限制在5以內(nèi)，那么最多的assignments應該是5！(不考慮mis-detected),劃分的方法可以采用基于距離的Kmeans方法。

initialization and reduction過程如下圖所示

1480428292502.jpg

Event Aggregate算法如下

1480428341815.jpg

Two-Step Online MOT

假設： Since the structural constraints of objects tracked in the previous frame have been also updated with their corresponding detections, their constraints are more robust robust than mis-detected objects. 所以使用structural constraints 能夠在一定程度上緩解mis-detected的誤差。

所以文中方法將MOT分為兩個步驟：數(shù)據(jù)關(guān)聯(lián)和恢復mis-detected objects。其過程見算法2

1480469315393.jpg

數(shù)據(jù)關(guān)聯(lián)使用的是前面提到的event aggregate的方法，現(xiàn)在來說說漏檢的目標怎么恢復的。

什么叫做漏檢目標恢復？如果有一個目標在t-1時刻檢測到了，t時刻沒有檢測到，而t+1時刻又檢測到了，我們稱該目標t時刻漏檢，t+1時刻恢復。這么看來，對于之前檢測到的目標，而當前沒有檢測到的目標都應該保存其狀態(tài)，以備下次恢復，這就會導致大量內(nèi)存的占用，所以文中限定了漏檢幀的幀數(shù)，超過一定閾值就認為對應軌跡終止，后面會講到。這里先來看如何恢復漏檢目標。

在前一幀中檢測到的目標記為,沒有找到對應匹配的目標集,中對應的structural constraint表示為,匹配的目標集和未匹配樣本的structural constraint記為,當前的檢測集為.
首先可以使用前面提到的structural constraint event aggregate(SCEA)對和進行關(guān)聯(lián)，記錄下關(guān)聯(lián)的點，更新目標狀態(tài)，(我覺得size同樣應該保存)。那些沒有關(guān)聯(lián)的觀測量以及虛點的集合記為.mis-detected objects的恢復就是指通過結(jié)構(gòu)約束和已經(jīng)匹配的點找到和中的匹配關(guān)系。
理一理時序關(guān)系：是t-1時刻的量，是t時刻的量，是t+1時刻的量。所以在t-1時刻漏檢了。

其中分別對應的基數(shù)

發(fā)現(xiàn)(12)式和(3)式的不同點在于（12）式?jīng)]有指定錨點，這是因為匹配misdetected objects是在已經(jīng)獲得一定量的關(guān)聯(lián)點條件下進行的，所以所謂的錨點存在于和中。

前兩項分別是size和appearance的相異性，不贅述了。看看structural constraint怎么嵌入進去的

這個式子我們能夠看到其實是和相對變化最小的以匹配成功的目標，以為錨點的情形下計算的相異性。

對C的可以使用匈牙利算法求解
其中分別對應匹配點的相異性和漏檢的相異性。

綜上，當前時刻的關(guān)聯(lián)關(guān)系為. 得到匹配后的點之后，為了軌跡的光滑，可以使用kalman filter對每一個軌跡進行濾波操作。

同樣的此時可以使用kalman 濾波對當前objects 的structural constraint進行濾波，以備下一幀使用。

軌跡的起始和終止，任何一個MOT方法都應該能夠處理新軌跡的誕生和軌跡的終止。在本文方法中：
軌跡誕生：如果當前未匹配的detections和過去幾幀中的所有未匹配點的距離(size和appearance)都大于一個閾值，就認為這個detection是新出現(xiàn)的點，為其分配存儲位置以及對應的structural constraint
軌跡終止：如果一個目標連續(xù)兩幀沒有關(guān)聯(lián)到detections，就認為其代表的軌跡終止

Experiments

1480472630478.jpg

AR: average rank

TC_ODAL: Robust online multi-object tracking based on tracklet confidence and online discriminative appearance learning, CVPR2014
RMOT: Bayesian multi-object tracking using motion context from multiple objects, WACV2015
NOMT-HM: Near-online multi-target tracking with aggregated local flow descriptor, ICCV2015
ODAMOT: Online Domain Adaptation for multi-object tracking, BMVC2015.
MDP: Learning to track: Online multi-object tracking by decision making, ICCV2015

代碼正在獲取中。。。

轉(zhuǎn)載于:https://www.cnblogs.com/YiXiaoZhou/p/6116719.html

總結(jié)

以上是生活随笔為你收集整理的结构性约束事件聚合下的在线多目标跟踪方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。