代碼+權重文件+資源https://download.csdn.net/download/qq_39237205/43072746https://download.csdn.net/download/qq_39237205/43072746

環境要求：python2.7?

環境配置：見文末requirements.txt

1.YOLO.py

# encoding:utf-8 import imutils import time import cv2 import numpy as np from kalman import * import matplotlib.pyplot as plt#根據攝像頭的圖像尺寸進行設置 line = [(0,150),(2560,150)] #車輛總數 counter = 0 #正向車道的車輛數 counter_up = 0 #逆向車道的車輛數 counter_down = 0#創建跟蹤器的對象 tracker = Sort() memory = {}#線與線的碰撞檢測--二維叉乘的方法檢測兩個直線之間是否相交 # 計算叉乘符號 def ccw(A, B, C):return (C[1] - A[1]) * (B[0] - A[0]) > (B[1] - A[1]) * (C[0] - A[0])# 檢測AB和CD兩條直線是否相交 def intersect(A, B, C, D):return ccw(A, C, D) != ccw(B, C, D) and ccw(A, B, C) != ccw(A, B, D)#利用yolov3模型進行目標檢測 #加載模型相關信息 #加載可以檢測的目標的類型#labelPath：類別標簽文件的路徑 labelPath = "./yolo-coco/coco.names"# 加載類別標簽文件 LABELS = open(labelPath).read().strip().split("\n")#生成多種不同的顏色的檢測框 用來標注物體 np.random.seed(42) COLORS = np.random.randint(0,255,size=(200,3),dtype='uint8')#加載預訓練的模型：權重 配置信息、進行恢復模型 #weights_path：模型權重文件的路徑 weightsPath = "./yolo-coco/yolov3.weights" #configPath：模型配置文件的路徑 configPath = "./yolo-coco/yolov3.cfg"net = cv2.dnn.readNetFromDarknet(configPath,weightsPath) #獲取YOLO每一層的名稱 #getLayerNames（）：獲取網絡所有層的名稱。 ln = net.getLayerNames() # 獲取輸出層的名稱: [yolo-82,yolo-94,yolo-106] # getUnconnectedOutLayers（）：獲取輸出層的索引 ln = [ln[i[0] - 1] for i in net.getUnconnectedOutLayers()]#讀取視頻 vs = cv2.VideoCapture('input/test_1.mp4') #獲取寬和高 (W,H)=(None,None) writer = Nonetry:prop = cv2.cv.CV_CAP_PROP_Frame_COUNT if imutils.is_cv2() else cv2.CAP_PROP_FRAME_COUNT#獲取視頻的總幀數total = int(vs.get(prop))print("INFO:{} total Frame in video".format(total)) except:print("[INFO] could not determine in video")#遍歷每一幀的圖像 while True:#獲取幀的結果(grabed,frame)=vs.read()#如果沒有 則跳出循環if not grabed:breakif W is None or H is None:(H, W) = frame.shape[:2]# 將圖片構建成一個blob，設置圖片尺寸，然后執行一次前向傳播# YOLO前饋網絡計算，最終獲取邊界框和相應概率blob = cv2.dnn.blobFromImage(frame,1/255.0,(416,416),swapRB=True,crop=False)#將blob送入網絡net.setInput(blob)start = time.time()#前向傳播，進行預測，返回目標框的邊界和響應的概率layerOutouts = net.forward(ln)end = time.time()#存放目標的檢測框boxes = []#置信度confidences = []#目標類別classIDs = []# 迭代每個輸出層，總共三個for output in layerOutouts:#遍歷每個檢測結果for detection in output:# 提取類別ID和置信度#detction:1*85 [5:]表示類別，[0:4]bbox的位置信息 [5]置信度、可信度scores = detection[5:]classID = np.argmax(scores)confidence= scores[classID]# 只保留置信度大于某值的邊界框if confidence >0.3:# 將邊界框的坐標還原至與原圖片相匹配，記住YOLO返回的是邊界框的中心坐標以及邊界框的寬度和高度box = detection[0:4] * np.array([W, H, W, H])(centerX,centerY,width,height) = box.astype("int")# 計算邊界框的左上角位置x = int(centerX-width/2)y = int(centerY-height/2)# 更新目標框，置信度（概率）以及類別boxes.append([x,y,int(width),int(height)])confidences.append(float(confidence))classIDs.append(classID)# 使用非極大值抑制方法抑制弱、重疊的目標框idxs = cv2.dnn.NMSBoxes(boxes,confidences,0.5,0.3)#檢測框的結果:左上角坐標、右下角坐標dets = []# 確保至少有一個邊界框if len(idxs)>0:# 迭代每個邊界框for i in idxs.flatten():# 提取邊界框的坐標if LABELS[classIDs[i]] == "car":(x,y)=(boxes[i][0],boxes[i][1])(w,h)=(boxes[i][2],boxes[i][3])cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),2)dets.append([x,y,x+w,y+h,confidences[i]])# 類型設置np.set_printoptions(formatter={'float': lambda x: "{0:0.3f}".format(x)})dets = np.asarray(dets)#SORT目標跟蹤if np.size(dets) == 0:continueelse:tracks = tracker.update(dets)# 存放跟蹤框boxes = []#存儲置信度/可靠性indexIDs = []#上一幀的跟蹤結果previous = memory.copy()memory = {}for track in tracks:boxes.append([track[0],track[1],track[2],track[3]])indexIDs.append(int(track[4]))memory[indexIDs[-1]] = boxes[-1]#從SORT跟蹤框的結果中進行碰撞檢測if len(boxes)>0:i = int(0)#遍歷跟蹤框for box in boxes:(x, y) = (int(box[0]), int(box[1])) #左上角坐標(w, h) = (int(box[2]), int(box[3])) #寬高color = [int(c) for c in COLORS[indexIDs[i]%len(COLORS)]]cv2.rectangle(frame, (x, y), (w, h), color, 2)#根據在上一幀的檢測結果與當前幀的檢測結果，利用虛擬線圈完成車輛的計數if indexIDs[i] in previous:previous_box = previous[indexIDs[i]]#上一幀圖像的左上角坐標(x2,y2) = (int(previous_box[0]),int(previous_box[1]))# 上一幀圖像的寬高(w2,h2) = (int(previous_box[2]),int(previous_box[3]))#上一幀的中心點的坐標p1 = (int(x2 + (w2 - x2) / 2), int(y2 + (h2 - y2) / 2))# 當前幀的中心點的坐標p0 = (int(x + (w - x) / 2), int(y + (h - y) / 2))# 利用p0,p1與line進行碰撞檢測if intersect(p0, p1, line[0], line[1]):counter += 1# 判斷行進方向if y2 > y:counter_down += 1else:counter_up += 1i += 1# 將車輛計數的相關結果放在視頻上print("將車輛計數的相關結果放在視頻上")cv2.line(frame, line[0], line[1], (0, 255, 0), 3)cv2.putText(frame, str(counter), (30, 80), cv2.FONT_HERSHEY_DUPLEX, 3.0, (255, 0, 0), 3)cv2.putText(frame, str(counter_up), (130, 80), cv2.FONT_HERSHEY_DUPLEX, 3.0, (0, 255, 0), 3)cv2.putText(frame, str(counter_down), (230, 80), cv2.FONT_HERSHEY_DUPLEX, 3.0, (0, 0, 255), 3)# 將檢測結果保存在視頻 # 未設置視頻的編解碼信息時，執行以下代碼if writer is None:# 設置編碼格式fourcc = cv2.VideoWriter_fourcc(*"mp4v")# 視頻信息設置writer = cv2.VideoWriter("./output/output.mp4",fourcc,30,(frame.shape[1], frame.shape[0]),True)# 將處理后的幀寫入到視頻中print ("將處理后的幀寫入到視頻中")writer.write(frame)# 顯示當前幀的結果cv2.imshow("", frame)# 按下q鍵退出if cv2.waitKey(1) & 0xFF == ord('q'):break# "釋放資源" writer.release() vs.release() cv2.destroyAllWindows()

2.kalman.py

# encoding:utf-8 from __future__ import print_function # from numba import jit import numpy as np from scipy.optimize import linear_sum_assignment from filterpy.kalman import KalmanFilter#計算IOU（交并比） # @jit def iou(bb_test,bb_gt):"""在兩個box間計算IOU:param bb_test: box1 = [x1,y1,x2,y2] 左上角坐標:param bb_gt: box2 = [x1,y1,x2,y2] 右下角坐標:return: 交并比IOU"""#在兩個box間的左上角坐標的最大值xx1 = np.maximum(bb_test[0],bb_gt[0])#左上角坐標x的最大值yy1 = np.maximum(bb_test[1],bb_gt[1])#左上角坐標y的最大值#在兩個box間的右下角坐標的最小值xx2 = np.minimum(bb_test[2],bb_gt[2])#右下角坐標x的最小值yy2 = np.minimum(bb_test[3],bb_test[3])#右下角坐標y的最小值#交的寬高w = np.maximum(0,xx2-xx1)h = np.maximum(0,yy2-yy1)#交的面積wh = w*h#并的面積s = ((bb_test[2] - bb_test[0]) * (bb_test[3] - bb_test[1])+ (bb_gt[2] - bb_gt[0]) * (bb_gt[3] - bb_gt[1]) - wh)#計算IOU并且返回IOUo_rate = wh/sreturn o_rate#左上角坐標[x1,y1]和右下角坐標[x2,y2], #將候選框從坐標形式[x1,y1,x2,y2]轉換為中心點坐標和面積的形式[x,y,s,r] #其中x，y是框的中心坐標，s是面積，尺度，r是寬高比 def convert_bbox_to_z(bbox):"""將[x1,y1,x2,y2]形式的檢測框轉為濾波器的狀態表示形式[x,y,s,r]。其中x，y是框的中心坐標，s是面積，尺度，r是寬高比:param bbox: [x1,y1,x2,y2] 分別是左上角坐標和右下角坐標:return: [ x, y, s, r ] 4行1列，其中x,y是box中心位置的坐標，s是面積，r是縱橫比w/h"""w = bbox[2] - bbox[0]#寬 x2-x1：#右下角的x坐標 - 左上角的x坐標 = 檢測框的寬h = bbox[3] - bbox[1]#高 y2-y1：#右下角的y坐標 - 左上角的y坐標 = 檢測框的高x = bbox[0] + w/2.0#檢測框的中心坐標x: x1+(x2-x1)/2.0 #左上角的x坐標 + 寬/2 = 檢測框中心位置的x坐標y = bbox[1] + h/2.0#檢測框的中心坐標y: y1+(y2-y1)/2.0 #左上角的y坐標 + 高/2 = 檢測框中心位置的y坐標s = w*h #檢測框的面積 #檢測框的寬 * 高 = 檢測框面積r = w/float(h) #檢測框的寬高比# 因為卡爾曼濾波器的輸入格式要求為4行1列，因此該[x, y, s, r]的形狀要轉換為4行1列再輸入到卡爾曼濾波器return np.array([x,y,s,r]).reshape([4,1]) #kalman需要四行一列的形式#將候選框從中心面積[x,y,s,r]的形式轉換成左上角坐標和右下角坐標[x1,y1,x2,y2]的形式 #即：將[cx，cy，s，r]的目標框表示轉為[x_min，y_min，x_max，y_max]的形式 def convert_x_to_bbox(x,score=None):"""將[cx，cy，s，r]的目標框表示轉為[x_min，y_min，x_max，y_max]的形式:param x:[ x, y, s, r ],其中x,y是box中心位置的坐標，s是面積，r是縱橫比w/h:param score: 置信度:return:[x1,y1,x2,y2],左上角坐標和右下角坐標""""""x[2]：s是面積，原公式s的來源為s = w * h，即檢測框的寬 * 高 = 檢測框面積。x[3]：r是縱橫比w/h，原公式r的來源為r = w / float(h)，即檢測框的寬w / 高h = 寬高比。x[2] * x[3]：s*r 即(w * h) * (w / float(h)) = w^2sqrt(x[2] * x[3])：sqrt(w^2) = w"""w = np.sqrt(x[2] * x[3]) #w =sqrt(s*r)=sqrt(s*w/h)=sqrt(w*h * w/h)=sqrt(w*w)h = x[2]/w #h =s/w =w*h/w =hx1 = x[0]-w/2.0 #左上角x坐標:x1 = x-w/2.0 #檢測框中心位置的x坐標 - 寬 / 2y1 = x[1]-h/2.0 #左上角y坐標:y1 = y-h/2.0 #檢測框中心位置的y坐標 - 高 / 2x2 = x[0]+w/2.0 #右下角x坐標:x2 = x+w/2.0 #檢測框中心位置的x坐標 + 寬 / 2y2 = x[1]+h/2.0 #右下角y坐標:y2 = y+h/2.0 #檢測框中心位置的y坐標 + 高 / 2if score is None:return np.array([x1,y1,x2,y2]).reshape((1,4))else:return np.array([x1,x1,x2,y2,score]).reshape((1,5))""" 卡爾曼濾波器進行跟蹤的相關內容的實現目標估計模型：1.根據上一幀的目標框結果來預測當前幀的目標框狀態，預測邊界框(目標框)的模型定義為一個等速運動/勻速運動模型。2.每個目標框都有對應的一個卡爾曼濾波器(KalmanBoxTracker實例對象)，KalmanBoxTracker類中的實例屬性專門負責記錄其對應的一個目標框中各種統計參數，并且使用類屬性負責記錄卡爾曼濾波器的創建個數，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象)。 3.yoloV3、卡爾曼濾波器預測/更新流程步驟1.第一步：yoloV3目標檢測階段：--> 1.檢測到目標則創建檢測目標鏈/跟蹤目標鏈，反之檢測不到目標則重新循環目標檢測。--> 2.檢測目標鏈/跟蹤目標鏈不為空則進入卡爾曼濾波器predict預測階段，反之為空則重新循環目標檢測。2.第二步：卡爾曼濾波器predict預測階段：連續多次預測而不進行一次更新操作，那么代表了每次預測之后所進行的“預測目標和檢測目標之間的”相似度匹配都不成功，所以才會出現連續多次的“預測然后相似度匹配失敗的”情況，導致不會進入一次更新階段。如果一次預測然后相似度匹配成功的話，那么然后就會進入更新階段。--> 1.目標位置預測1.kf.predict()：目標位置預測2.目標框預測總次數：age+=1。3.if time_since_update > 0:hit_streak = 0time_since_update += 11.連續預測的次數，每執行predict一次即進行time_since_update+=1。2.在連續預測(連續執行predict)的過程中，一旦執行update的話，time_since_update就會被重置為0。3.在連續預測(連續執行predict)的過程中，只要連續預測的次數time_since_update大于0的話，就會把hit_streak(連續更新的次數)重置為0，表示連續預測的過程中沒有出現過一次更新狀態更新向量x(狀態變量x)的操作，即連續預測的過程中沒有執行過一次update。4.在連續更新(連續執行update)的過程中，一旦開始連續執行predict兩次或以上的情況下，當連續第一次執行predict時，因為time_since_update仍然為0，并不會把hit_streak重置為0，然后才會進行time_since_update+=1；當連續第二次執行predict時，因為time_since_update已經為1，那么便會把hit_streak重置為0，然后繼續進行time_since_update+=1。--> 2.預測的目標和檢測的目標之間的相似度匹配成功則進入update更新階段，反之匹配失敗則刪除跟蹤目標。3.第三步：卡爾曼濾波器update更新階段：如果一次預測然后“預測目標和檢測目標之間的”相似度匹配成功的話，那么然后就會進入更新階段。kf.update([x,y,s,r])：使用的是通過yoloV3得到的“并且和預測框相匹配的”檢測框來更新預測框。--> 1.目標位置信息更新到檢測目標鏈/跟蹤目標鏈 1.目標框更新總次數：hits+=1。2.history = []time_since_update = 0hit_streak += 11.history列表用于在預測階段保存單個目標框連續預測的多個結果，一旦執行update就會清空history列表。2.連續更新的次數，每執行update一次即進行hit_streak+=1。3.在連續預測(連續執行predict)的過程中，一旦執行update的話，time_since_update就會被重置為0。4.在連續預測(連續執行predict)的過程中，只要連續預測的次數time_since_update大于0的話，就會把hit_streak(連續更新的次數)重置為0，表示連續預測的過程中沒有出現過一次更新狀態更新向量x(狀態變量x)的操作，即連續預測的過程中沒有執行過一次update。5.在連續更新(連續執行update)的過程中，一旦開始連續執行predict兩次或以上的情況下，當連續第一次執行predict時，因為time_since_update仍然為0，并不會把hit_streak重置為0，然后才會進行time_since_update+=1；當連續第二次執行predict時，因為time_since_update已經為1，那么便會把hit_streak重置為0，然后繼續進行time_since_update+=1。--> 2.目標位置修正。1.kf.update([x,y,s,r])：使用觀測到的目標框bbox更新狀態變量x(狀態更新向量x)。使用的是通過yoloV3得到的“并且和預測框相匹配的”檢測框來更新卡爾曼濾波器得到的預測框。1.初始化、預測、更新1.__init__(bbox)：初始化卡爾曼濾波器的狀態更新向量x(狀態變量x)、觀測輸入[x,y,s,r](通過[x1,y1,x2,y2]轉化而來)、狀態轉移矩陣F、量測矩陣H(觀測矩陣H)、測量噪聲的協方差矩陣R、先驗估計的協方差矩陣P、過程激勵噪聲的協方差矩陣Q。2.update(bbox)：根據觀測輸入來對狀態更新向量x(狀態變量x)進行更新3.predict()：根據狀態更新向量x(狀態變量x)更新的結果來預測目標的邊界框2.狀態變量、狀態轉移矩陣F、量測矩陣H(觀測矩陣H)、測量噪聲的協方差矩陣R、先驗估計的協方差矩陣P、過程激勵噪聲的協方差矩陣Q1.狀態更新向量x(狀態變量x)狀態更新向量x(狀態變量x)的設定是一個7維向量：x=[u,v,s,r,u^,v^,s^]T。u、v分別表示目標框的中心點位置的x、y坐標，s表示目標框的面積，r表示目標框的縱橫比/寬高比。u^、v^、s^分別表示橫向u(x方向)、縱向v(y方向)、面積s的運動變化速率。u、v、s、r初始化：根據第一幀的觀測結果進行初始化。u^、v^、s^初始化：當第一幀開始的時候初始化為0，到后面幀時會根據預測的結果來進行變化。2.狀態轉移矩陣F定義的是一個7*7的方陣(其對角線上的值都是1)。。運動形式和轉換矩陣的確定都是基于勻速運動模型，狀態轉移矩陣F根據運動學公式確定，跟蹤的目標假設為一個勻速運動的目標。通過7*7的狀態轉移矩陣F 乘以 7*1的狀態更新向量x(狀態變量x)即可得到一個更新后的7*1的狀態更新向量x，其中更新后的u、v、s即為當前幀結果。3.量測矩陣H(觀測矩陣H)量測矩陣H(觀測矩陣H)，定義的是一個4*7的矩陣。通過4*7的量測矩陣H(觀測矩陣H) 乘以 7*1的狀態更新向量x(狀態變量x) 即可得到一個 4*1的[u,v,s,r]的估計值。4.測量噪聲的協方差矩陣R、先驗估計的協方差矩陣P、過程激勵噪聲的協方差矩陣Q1.測量噪聲的協方差矩陣R：diag([1,1,10,10]T)2.先驗估計的協方差矩陣P：diag([10,10,10,10,1e4,1e4,1e4]T)。1e4：1x10的4次方。3.過程激勵噪聲的協方差矩陣Q：diag([1,1,1,1,0.01,0.01,1e-4]T)。1e-4：1x10的-4次方。4.1e數字的含義1e4：1x10的4次方1e-4：1x10的-4次方5.diag表示對角矩陣，寫作為diag(a1，a2,...,an)的對角矩陣實際表示為主對角線上的值依次為a1，a2,...,an，而主對角線之外的元素皆為0的矩陣。對角矩陣(diagonal matrix)是一個主對角線之外的元素皆為0的矩陣，常寫為diag（a1，a2,...,an) 。對角矩陣可以認為是矩陣中最簡單的一種，值得一提的是：對角線上的元素可以為 0 或其他值，對角線上元素相等的對角矩陣稱為數量矩陣；對角線上元素全為1的對角矩陣稱為單位矩陣。對角矩陣的運算包括和、差運算、數乘運算、同階對角陣的乘積運算，且結果仍為對角陣。 """ """ 1.跟蹤器鏈(列表)：實際就是多個的卡爾曼濾波KalmanBoxTracker自定義類的實例對象組成的列表。每個目標框都有對應的一個卡爾曼濾波器(KalmanBoxTracker實例對象)，KalmanBoxTracker類中的實例屬性專門負責記錄其對應的一個目標框中各種統計參數，并且使用類屬性負責記錄卡爾曼濾波器的創建個數，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象)。把每個卡爾曼濾波器(KalmanBoxTracker實例對象)都存儲到跟蹤器鏈(列表)中。 2.unmatched_detections(列表)：1.檢測框中出現新目標，但此時預測框(跟蹤框)中仍不不存在該目標，那么就需要在創建新目標對應的預測框/跟蹤框(KalmanBoxTracker類的實例對象)，然后把新目標對應的KalmanBoxTracker類的實例對象放到跟蹤器鏈(列表)中。2.同時如果因為“跟蹤框和檢測框之間的”兩兩組合的匹配度IOU值小于iou閾值，則也要把目標檢測框放到unmatched_detections中。 3.unmatched_trackers(列表)：1.當跟蹤目標失敗或目標離開了畫面時，也即目標從檢測框中消失了，就應把目標對應的跟蹤框(預測框)從跟蹤器鏈中刪除。unmatched_trackers列表中保存的正是跟蹤失敗即離開畫面的目標，但該目標對應的預測框/跟蹤框(KalmanBoxTracker類的實例對象)此時仍然存在于跟蹤器鏈(列表)中，因此就需要把該目標對應的預測框/跟蹤框(KalmanBoxTracker類的實例對象)從跟蹤器鏈(列表)中刪除出去。2.同時如果因為“跟蹤框和檢測框之間的”兩兩組合的匹配度IOU值小于iou閾值，則也要把跟蹤目標框放到unmatched_trackers中。 """#卡爾曼濾波：對于目標框的狀態進行預測 class KalmanBoxTracker(object):"""每個目標框都有對應的一個卡爾曼濾波器(KalmanBoxTracker實例對象)，KalmanBoxTracker類中的實例屬性專門負責記錄其對應的一個目標框中各種統計參數，并且使用類屬性負責記錄卡爾曼濾波器的創建個數，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象)。"""#記錄跟蹤框的個數count = 0 #類屬性負責記錄卡爾曼濾波器的創建個數，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象"""__init__(bbox)使用目標框bbox為卡爾曼濾波的狀態進行初始化。初始化時傳入bbox，即根據觀測到的檢測框的結果來進行初始化。每個目標框都有對應的一個卡爾曼濾波器(KalmanBoxTracker實例對象)，KalmanBoxTracker類中的實例屬性專門負責記錄其對應的一個目標框中各種統計參數，并且使用類屬性負責記錄卡爾曼濾波器的創建個數，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象)。1.kf = KalmanFilter(dim_x=7, dim_z=4)定義一個卡爾曼濾波器，利用這個卡爾曼濾波器對目標的狀態進行估計。dim_x=7定義是一個7維的狀態更新向量x(狀態變量x)：x=[u,v,s,r,u^,v^,s^]T。dim_z=4定義是一個4維的觀測輸入，即中心面積的形式[x,y,s,r]，即[檢測框中心位置的x坐標,y坐標,面積,寬高比]。2.kf.F = np.array(7*7的方陣)狀態轉移矩陣F，定義的是一個7*7的方陣其(對角線上的值都是1)。通過7*7的狀態轉移矩陣F 乘以 7*1的狀態更新向量x(狀態變量x)即可得到一個更新后的7*1的狀態更新向量x，其中更新后的u、v、s即為當前幀結果。通過狀態轉移矩陣對當前的觀測結果進行估計獲得預測的結果，然后用當前的預測的結果來作為下一次估計預測的基礎。3.kf.H = np.array(4*7的矩陣)量測矩陣H(觀測矩陣H)，定義的是一個4*7的矩陣。通過4*7的量測矩陣H(觀測矩陣H) 乘以 7*1的狀態更新向量x(狀態變量x) 即可得到一個 4*1的[u,v,s,r]的估計值。4.相應的協方差參數的設定，根據經驗值進行設定。1.R是測量噪聲的協方差矩陣，即真實值與測量值差的協方差。R=diag([1,1,10,10]T)kf.R[2:, 2:] *= 10.2.P是先驗估計的協方差矩陣diag([10,10,10,10,1e4,1e4,1e4]T)。1e4：1x10的4次方。kf.P[4:, 4:] *= 1000. # 設置了一個較大的值，給無法觀測的初始速度帶來很大的不確定性kf.P *= 10.3.Q是過程激勵噪聲的協方差矩陣diag([1,1,1,1,0.01,0.01,1e-4]T)。1e-4：1x10的-4次方。kf.Q[-1, -1] *= 0.01kf.Q[4:, 4:] *= 0.015.kf.x[:4] = convert_bbox_to_z(bbox)convert_bbox_to_z負責將[x1,y1,x2,y2]形式的檢測框bbox轉為中心面積的形式[x,y,s,r]。狀態更新向量x(狀態變量x)設定是一個七維向量：x=[u,v,s,r,u^,v^,s^]T。x[:4]即表示 u、v、s、r初始化為第一幀bbox觀測到的結果[x,y,s,r]。6.單個目標框對應的單個卡爾曼濾波器中的統計參數的更新每個目標框都有對應的一個卡爾曼濾波器(KalmanBoxTracker實例對象)，KalmanBoxTracker類中的實例屬性專門負責記錄其對應的一個目標框中各種統計參數，并且使用類屬性負責記錄卡爾曼濾波器的創建個數，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象)。1.卡爾曼濾波器的個數有多少個目標框就有多少個卡爾曼濾波器，每個目標框都會有一個卡爾曼濾波器，即每個目標框都會有一個KalmanBoxTracker實例對象。count = 0：類屬性負責記錄卡爾曼濾波器的創建個數，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象。id = KalmanBoxTracker.count：卡爾曼濾波器的個數，即目標框的個數。KalmanBoxTracker.count += 1：每增加一個目標框，即增加一個KalmanBoxTracker實例對象(卡爾曼濾波器)，那么類屬性count+=1。2.統計一個目標框對應的卡爾曼濾波器中各參數統計的次數1.age = 0：該目標框進行預測的總次數。每執行predict一次，便age+=1。2.hits = 0：該目標框進行更新的總次數。每執行update一次，便hits+=1。3.time_since_update = 01.連續預測的次數，每執行predict一次即進行time_since_update+=1。2.在連續預測(連續執行predict)的過程中，一旦執行update的話，time_since_update就會被重置為0。3.在連續預測(連續執行predict)的過程中，只要連續預測的次數time_since_update大于0的話，就會把hit_streak(連續更新的次數)重置為0，表示連續預測的過程中沒有出現過一次更新狀態更新向量x(狀態變量x)的操作，即連續預測的過程中沒有執行過一次update。4.hit_streak = 01.連續更新的次數，每執行update一次即進行hit_streak+=1。2.在連續更新(連續執行update)的過程中，一旦開始連續執行predict兩次或以上的情況下，當連續第一次執行predict時，因為time_since_update仍然為0，并不會把hit_streak重置為0，然后才會進行time_since_update+=1；當連續第二次執行predict時，因為time_since_update已經為1，那么便會把hit_streak重置為0，然后繼續進行time_since_update+=1。7.history = []：保存單個目標框連續預測的多個結果到history列表中，一旦執行update就會清空history列表。將預測的候選框從中心面積的形式[x,y,s,r]轉換為坐標的形式[x1,y1,x2,y2] 的bbox 再保存到 history列表中。"""# 內部使用KalmanFilter，7個狀態變量和4個觀測輸入def __init__(self,bbox):"""初始化邊界框和跟蹤器:param bbox:"""#等速模型#卡爾曼濾波：狀態轉移矩陣：7，觀測輸入矩陣:4self.kf = KalmanFilter(dim_x=7,dim_z=4) #初始化卡爾曼濾波器# F：狀態轉移/狀態變化矩陣 7*7 用當前的矩陣預測下一次的估計self.kf.F = np.array([[1, 0, 0, 0, 1, 0, 0],[0, 1, 0, 0, 0, 1, 0],[0, 0, 1, 0, 0, 0, 1],[0, 0, 0, 1, 0, 0, 0],[0, 0, 0, 0, 1, 0, 0],[0, 0, 0, 0, 0, 1, 0],[0, 0, 0, 0, 0, 0, 1]])#H:量測矩陣/觀測矩陣：4*7self.kf.H = np.array([[1, 0, 0, 0, 0, 0, 0],[0, 1, 0, 0, 0, 0, 0],[0, 0, 1, 0, 0, 0, 0],[0, 0, 0, 1, 0, 0, 0]])#R:測量噪聲的協方差,即真實值與測量值差的協方差self.kf.R[2:,2:] *= 10#P:先驗估計的協方差self.kf.P[4:,4:] *= 1000 #give high uncertainty to the unobservable initial velocities 對不可觀測的初始速度給予高度不確定性self.kf.P *= 10#Q:過程激勵噪聲的的協方差self.kf.Q[-1,-1] *= 0.01self.kf.Q[4:, 4:] *= 0.01#X:觀測結果、狀態估計self.kf.x[:4] = convert_bbox_to_z(bbox)#參數的更新self.time_since_update = 0self.id = KalmanBoxTracker.countKalmanBoxTracker.count += 1self.history=[]self.hits = 0self.hit_streak = 0self.age = 0"""update(bbox)：使用觀測到的目標框bbox更新狀態更新向量x(狀態變量x)1.time_since_update = 01.連續預測的次數，每執行predict一次即進行time_since_update+=1。2.在連續預測(連續執行predict)的過程中，一旦執行update的話，time_since_update就會被重置為0。2.在連續預測(連續執行predict)的過程中，只要連續預測的次數time_since_update大于0的話，就會把hit_streak(連續更新的次數)重置為0，表示連續預測的過程中沒有出現過一次更新狀態更新向量x(狀態變量x)的操作，即連續預測的過程中沒有執行過一次update。2.history = [] 清空history列表。history列表保存的是單個目標框連續預測的多個結果([x,y,s,r]轉換后的[x1,y1,x2,y2])，一旦執行update就會清空history列表。3.hits += 1：該目標框進行更新的總次數。每執行update一次，便hits+=1。4.hit_streak += 11.連續更新的次數，每執行update一次即進行hit_streak+=1。2.在連續更新(連續執行update)的過程中，一旦開始連續執行predict兩次或以上的情況下，當連續第一次執行predict時，因為time_since_update仍然為0，并不會把hit_streak重置為0，然后才會進行time_since_update+=1；當連續第二次執行predict時，因為time_since_update已經為1，那么便會把hit_streak重置為0，然后繼續進行time_since_update+=1。5.kf.update(convert_bbox_to_z(bbox))convert_bbox_to_z負責將[x1,y1,x2,y2]形式的檢測框轉為濾波器的狀態表示形式[x,y,s,r]，那么傳入的為kf.update([x,y,s,r])。然后根據觀測結果修改內部狀態x(狀態更新向量x)。使用的是通過yoloV3得到的“并且和預測框相匹配的”檢測框來更新卡爾曼濾波器得到的預測框。"""#使用觀測到的目標框更新狀態變量def update(self,bbox):"""使用觀察到的目標框更新狀態向量。filterpy.kalman.KalmanFilter.update 會根據觀測修改內部狀態估計self.kf.x。重置self.time_since_update，清空self.history。:param bbox:目標框:return:"""#重置部分參數self.time_since_update = 0#清空self.history = []#hitsself.hits += 1self.hit_streak += 1#根據觀測結果修改內部狀態xself.kf.update(convert_bbox_to_z(bbox))"""predict：進行目標框的預測并返回預測的邊界框結果1.if(kf.x[6] + kf.x[2]) <= 0:self.kf.x[6] *= 0.0狀態更新向量x(狀態變量x)為[u,v,s,r,u^,v^,s^]T，那么x[6]為s^，x[2]為s。如果x[6]+x[2]<= 0，那么x[6] *= 0.0，即把s^置為0.0。2.kf.predict()進行目標框的預測。3.age += 1該目標框進行預測的總次數。每執行predict一次，便age+=1。4.if time_since_update > 0:hit_streak = 0time_since_update += 11.連續預測的次數，每執行predict一次即進行time_since_update+=1。2.在連續預測(連續執行predict)的過程中，一旦執行update的話，time_since_update就會被重置為0。3.在連續預測(連續執行predict)的過程中，只要連續預測的次數time_since_update大于0的話，就會把hit_streak(連續更新的次數)重置為0，表示連續預測的過程中沒有出現過一次更新狀態更新向量x(狀態變量x)的操作，即連續預測的過程中沒有執行過一次update。4.在連續更新(連續執行update)的過程中，一旦開始連續執行predict兩次或以上的情況下，當連續第一次執行predict時，因為time_since_update仍然為0，并不會把hit_streak重置為0，然后才會進行time_since_update+=1；當連續第二次執行predict時，因為time_since_update已經為1，那么便會把hit_streak重置為0，然后繼續進行time_since_update+=1。5.history.append(convert_x_to_bbox(kf.x))convert_x_to_bbox(kf.x)：將目標框所預測的結果從中心面積的形式[x,y,s,r] 轉換為 坐標的形式[x1,y1,x2,y2] 的bbox。history列表保存的是單個目標框連續預測的多個結果([x,y,s,r]轉換后的[x1,y1,x2,y2])，一旦執行update就會清空history列表。6.predict 返回值：history[-1]把目標框當前該次的預測的結果([x,y,s,r]轉換后的[x1,y1,x2,y2])進行返回輸出。"""#進行目標框的預測：推進狀態變量并返回預測的邊界框結果def predict(self):"""推進狀態向量并返回預測的邊界框估計。將預測結果追加到self.history。由于 get_state 直接訪問 self.kf.x，所以self.history沒有用到:return:"""#狀態變量if(self.kf.x[6] + self.kf.x[2]) <= 0:self.kf.x[6] *= 0# 進行預測self.kf.predict()#卡爾曼濾波的預測次數self.age += 1#若過程中未進行更新，則將hit_streak置為0if self.time_since_update > 0:self.hit_streak=0self.time_since_update += 1#將預測結果追加到hietory中self.history.append(convert_x_to_bbox(self.kf.x))return self.history[-1]"""get_state()：獲取當前目標框預測的結果([x,y,s,r]轉換后的[x1,y1,x2,y2])。return convert_x_to_bbox(kf.x)：將候選框從中心面積的形式[x,y,s,r] 轉換為 坐標的形式[x1,y1,x2,y2] 的bbox并進行返回輸出。直接訪問 kf.x并進行返回，所以history沒有用到。"""#獲取到當前的邊界框的預測結果def get_state(self):"""返回當前邊界框估計值:return:"""return convert_x_to_bbox(self.kf.x)# 將YOLO模型的檢測框和卡爾曼濾波的跟蹤框進行匹配def associate_detections_to_trackers(detections,trackers,iou_threshold=0.3):"""將檢測框bbox與卡爾曼濾波器的跟蹤框進行關聯匹配:param detections:檢測框:param trackers:跟蹤框，即跟蹤目標:param iou_threshold:IOU閾值:return:跟蹤成功目標的矩陣：matchs新增目標的矩陣：unmatched_detections跟蹤失敗即離開畫面的目標矩陣：unmatched_trackers"""#跟蹤/檢測為0時：直接構造返回結果if (len(trackers) == 0) or (len(detections) == 0):return np.empty((0, 2), dtype=int), np.arange(len(detections)), np.empty((0, 5), dtype=int)# 跟蹤/檢測不為0時：# iou 不支持數組計算，故IOU 逐個進行交并比計算，構造矩陣scipy.linear_assignment進行匹配iou_matrix = np.zeros((len(detections), len(trackers)), dtype=np.float32)# 遍歷目標檢測的bbox集合，每個檢測框的標識為dfor d,det in enumerate(detections):# 遍歷跟蹤框（卡爾曼濾波器預測）bbox集合，每個跟蹤框標識為tfor t,trk in enumerate(trackers):iou_matrix[d,t] = iou(det,trk)#通過匈牙利算法(linear_assignment)將跟蹤框和檢測框以[[d,t]...]的二維矩陣的形式存儲在match_indices中result = linear_sum_assignment(-iou_matrix)#將匹配結果以 [[d,t]]的形式存儲匹配結果matched_indices = np.array(list(zip(*result)))#記錄未匹配的檢測框及跟蹤框#未匹配的檢測框放入unmatched_detections中，表示有新的目標進入畫面，要新增所要跟蹤的目標序列unmatched_detections = []for d,det in enumerate(detections):if d not in matched_indices[:,0]:unmatched_detections.append(d)#未匹配的跟蹤框放入unmatched_trackers中，表示目標離開之前的畫面，應刪除對應的跟蹤器unmatched_trackers = []for t,trk in enumerate(trackers):if t not in matched_indices[:,1]:unmatched_trackers.append(t)#將匹配成功的跟蹤框放入matches中進行存儲matches = []for m in matched_indices:# 過濾掉IOU低的匹配，將其放入到unmatched_detections和unmatched_trackersif iou_matrix[m[0], m[1]] < iou_threshold:unmatched_detections.append(m[0])unmatched_trackers.append(m[1])else:matches.append(m.reshape(1, 2))#格式轉換：初始化matchs,以np.array的形式返回if len(matches) == 0:matches = np.empty((0, 2), dtype=int)else:matches = np.concatenate(matches, axis=0)return matches, np.array(unmatched_detections),np.array(unmatched_trackers)""" 利用sort算法完成多目標追蹤在這里我們主要實現了一個多目標跟蹤器，管理多個卡爾曼濾波器對象，主要包括以下內容：1.初始化：最大檢測數，目標未被檢測的最大幀數2.目標跟蹤結果的更新，即跟蹤成功和失敗的目標的更新該方法實現了SORT算法，輸入是當前幀中所有物體的檢測框的集合，包括目標的score，輸出是當前幀的跟蹤框集合，包括目標的跟蹤的id要求是即使檢測框為空，也必須對每一幀調用此方法，返回一個類似的輸出數組，最后一列是目標對像的id。需要注意的是，返回的目標對象數量可能與檢測框的數量不同。 """# 1.SORT目標跟蹤： # 1.第一幀剛開始時：對第一幀所有的檢測框生成對應的新跟蹤框。 # 2.第二幀開始到以后所有幀： # 上一幀成功跟蹤并且保留下來的的跟蹤框 在當前幀中 進行新一輪的預測新的跟蹤框， # 并且針對所預測的新跟蹤框和當前幀中的檢測框進行iou計算和使用匈牙利算法對該兩者進行關聯匹配， # 通過上述操作后成功返回跟蹤目標成功的跟蹤框(即和當前幀中的目標檢測框相匹配的跟蹤框)， # 并且另外發現了新出現目標的檢測框、跟蹤目標失敗的跟蹤框(即目標離開了畫面/兩者匹配度IOU值小于iou閾值)， # 那么首先使用當前幀中的檢測框對“成功關聯匹配的跟蹤框中的”狀態向量進行更新， # 然后對新增目標的檢測框生成對應新的跟蹤框，最后把跟蹤目標失敗的跟蹤框從跟蹤器鏈列表中移除出去。 # 2.傳入的檢測框dets：[檢測框的左上角的x/y坐標, 檢測框的右下角的x/y坐標, 檢測框的預測類別的概率值] # 3.返回值tracks： # 當前幀中跟蹤目標成功的跟蹤框/預測框的集合，包含目標的跟蹤的id(也即該跟蹤框(卡爾曼濾波實例對象)是創建出來的第幾個) # 第一種返回值方案：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, yolo識別目標是某種物體的可信度, trk.id] ...] # 第二種返回值方案(當前使用的為該種)：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, trk.id] ...] # d：[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標] # trk.id：卡爾曼濾波器的個數/目標框的個數，也即該跟蹤框(卡爾曼濾波實例對象)是創建出來的第幾個。 #Sort多目標跟蹤 管理多個卡爾曼濾波器 class Sort(object):"""Sort 是一個多目標跟蹤器的管理類，管理多個 跟蹤器鏈中的多個 KalmanBoxTracker 卡爾曼濾波對象"""#設置Sort算法的參數def __init__(self,max_age = 1,min_hits = 3):"""初始化：設置SORT算法的關鍵參數:param max_age: 最大檢測數：目標未被檢測到的幀數，超過之后會被刪除:param min_hits: 目標命中的最小次數，小于該次數update函數不返回該目標的KalmanBoxTracker卡爾曼濾波對象""""""max_age：跟蹤框的最大連續跟丟幀數。如果當前跟蹤框連續N幀大于最大連續跟丟幀數的話，則從跟蹤器鏈中刪除該卡爾曼濾波對象的預測框(跟蹤框)。min_hits：跟蹤框連續成功跟蹤到目標的最小次數(目標連續命中的最小次數)，也即跟蹤框至少需要連續min_hits次成功跟蹤到目標。trackers：卡爾曼濾波跟蹤器鏈，存儲多個 KalmanBoxTracker 卡爾曼濾波對象frame_count：當前視頻經過了多少幀的計數"""# 最大檢測數：目標未被檢測到的幀數，超過之后會被刪self.max_age = max_age# 目標連續命中的最小次數，小于該次數update函數不返回該目標的KalmanBoxTracker卡爾曼濾波對象self.min_hits=min_hits# 卡爾曼濾波跟蹤器鏈，存儲多個 KalmanBoxTracker 卡爾曼濾波對象self.trackers = []#幀計數self.frame_count = 0"""update(dets)：輸入dets：當前幀中yolo所檢測出的所有目標的檢測框的集合，包含每個目標的score以[[x1,y1,x2,y2,score]，[x1,y1,x2,y2,score]，...]形式輸入的numpy.arrayx1、y1 代表檢測框的左上角坐標；x2、y2代表檢測框的右上角坐標；score代表檢測框對應預測類別的概率值。輸出ret：當前幀中跟蹤目標成功的跟蹤框/預測框的集合，包含目標的跟蹤的id(也即該跟蹤框(卡爾曼濾波實例對象)是創建出來的第幾個)第一種返回值方案：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, yolo識別目標是某種物體的可信度, trk.id] ...]第二種返回值方案(當前使用的為該種)：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, trk.id] ...]d：[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標]trk.id：卡爾曼濾波器的個數/目標框的個數，也即該跟蹤框(卡爾曼濾波實例對象)是創建出來的第幾個。注意：即使檢測框為空，也必須對每一幀調用此方法，返回一個類似的輸出數組，最后一列是目標對像的id。返回的目標對象數量可能與檢測框的數量不同。"""#更新數值def update(self,dets):"""該方法實現了SORT算法，輸入是當前幀中所有物體的檢測框的集合，包括目標的score,輸出是當前幀目標的跟蹤框集合，包括目標的跟蹤的id要求是即使檢測框為空，也必須對每一幀調用此方法，返回一個類似的輸出數組，最后一列是目標對像的id注意：返回的目標對象數量可能與檢測框的數量不同:param dets:以[[x1,y1,x2,y2,score]，[x1,y1,x2,y2,score]，...]形式輸入的numpy.array:return:"""""" 每經過一幀，frame_count+=1"""self.frame_count +=1"""1.trackers：上一幀中的跟蹤器鏈(列表)，保存的是上一幀中成功跟蹤目標的跟蹤框，也即上一幀中成功跟蹤目標的KalmanBoxTracker卡爾曼濾波對象。2.trks = np.zeros((len(trackers), 5))上一幀中的跟蹤器鏈(列表)中的所有跟蹤框(卡爾曼濾波對象)在當前幀中成功進行predict預測新跟蹤框后返回的值。所有新跟蹤框的左上角的x坐標和y坐標、右下角的x坐標和y坐標、置信度 的一共5個值。1.因為一開始第一幀時，trackers跟蹤器鏈(列表)仍然為空，所以此時的trks初始化如下：np.zeros((0, 5)) 輸出值：array([], shape=(0, 5), dtype=float64)輸出值類型：<class 'numpy.ndarray'>2.np.zeros((len(trackers), 5)) 創建目的：1.用于存儲上一幀中的跟蹤器鏈中所有跟蹤框(KalmanBoxTracker卡爾曼濾波對象)在當前幀中進行predict預測新跟蹤框后返回的值，之所以創建的numpy數組的列數為5，是因為一個跟蹤框在當前幀中進行predict預測新跟蹤框后返回的值為1行5列的矩陣，返回值分別為新跟蹤框的左上角的x坐標和y坐標、右下角的x坐標和y坐標、置信度 的一共5個值。2.如果是在視頻的第一幀中，那么因為跟蹤器鏈不存在任何跟蹤框(KalmanBoxTracker卡爾曼濾波對象)，因此np.zeros((len(trackers), 5))創建的是空列表：array([], shape=(0, 5), dtype=float64)。3.trackers：跟蹤器鏈(列表)1.跟蹤器鏈中存儲了上一幀中成功跟蹤目標并且在當前幀中的預測框(跟蹤框)，同時也存儲了“為了當前幀中的檢測框中的新增目標所創建的”新預測框(新跟蹤框)，但是同時不存儲當前幀中預測跟蹤失敗的預測框(跟蹤框)，同時也不存儲2.跟蹤器鏈實際就是多個的卡爾曼濾波KalmanBoxTracker自定義類的實例對象組成的列表。每個目標框都有對應的一個卡爾曼濾波器(KalmanBoxTracker實例對象)，KalmanBoxTracker類中的實例屬性專門負責記錄其對應的一個目標框中各種統計參數，并且使用類屬性負責記錄卡爾曼濾波器的創建個數，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象)。把每個卡爾曼濾波器(KalmanBoxTracker實例對象)都存儲到跟蹤器鏈(列表)中。"""# 存儲跟蹤器在當前幀逐個預測軌跡位置，記錄狀態異常的跟蹤器索引# 根據當前所有的卡爾曼跟蹤器個數（即上一幀中跟蹤的目標個數）創建二維數組：行號為卡爾曼濾波器的標識索引，列向量為跟蹤框的位置和ID# trks = np.zeros(len(self.trackers),5)#跟蹤器對當前幀的圖像預測結果trks = np.zeros((len(self.trackers), 5))#跟蹤器對當前幀的圖像預測結果""" to_del：存儲“跟蹤器鏈中某個要刪除的”KalmanBoxTracker卡爾曼濾波對象的索引 """to_del = []#存儲要刪除的目標框ret = []#返回的跟蹤目標#遍歷卡爾曼濾波器中的跟蹤框"""for t, trk in enumerate(ndarray類型的trks)t：為從0到列表長度-1的索引值trk：ndarray類型的trks中每個(1, 5)形狀的一維數組"""""" 遍歷trks 用于存儲上一幀中的跟蹤器鏈中所有跟蹤框(KalmanBoxTracker卡爾曼濾波對象)在當前幀中進行predict預測新跟蹤框后返回的值 """for t,trk in enumerate(trks):""" 上一幀中的跟蹤器鏈中所有跟蹤框(KalmanBoxTracker卡爾曼濾波對象)在當前幀中進行predict預測新跟蹤框 """#使用卡爾曼跟蹤器t產生對應目標的跟蹤框，即對目標進行預測pos = self.trackers[t].predict()[0]""" 新跟蹤框的左上角的x坐標和y坐標、右下角的x坐標和y坐標、置信度 的一共5個值。trk中存儲了上一幀中目標的跟蹤框在當前幀中新的跟蹤框的信息值。"""# 遍歷完成后，trk中存儲了上一幀中跟蹤的目標的預測結果的跟蹤框trk[:] = [pos[0],pos[1],pos[2],pos[3],0]""" 如果預測的新的跟蹤框的信息(1行5列一共5個值)中包含空值的話，則將該跟蹤框在跟蹤器鏈(列表)中的索引值t放到to_del列表中。使用np.any(np.isnan(pos))即能判斷這1行5列一共5個值是否包含空值。后面下一步將會根據to_del列表中保存的跟蹤框的索引值到跟蹤器鏈(列表)中將該跟蹤框從其中移除出去。"""#若預測結果pos中包含空值，添加到del中if np.any(np.isnan(pos)):to_del.append(t)""" np.ma.masked_invalid(跟蹤器鏈trks矩陣)：將會對跟蹤器鏈trks矩陣中出現了NaN或inf的某行進行生成掩碼，用于屏蔽出現無效值該整行的跟蹤器框。np.ma.compress_rows(包含掩碼值的跟蹤器鏈trks矩陣)：將包含掩碼值的整行從中進行移除出去。最終跟蹤器鏈trks矩陣：只包含“上一幀中的跟蹤器鏈中所有跟蹤框在當前幀中成功進行predict預測”的新跟蹤框。"""#trks中去除無效值的行，保存根據上一幀結果預測當前幀的內容# numpy.ma.masked_invalid 屏蔽出現無效值的數組（NaN 或 inf）# numpy.ma.compress_rows 壓縮包含掩碼值的2-D 數組的整行，將包含掩碼值的整行去除# trks中存儲了上一幀中跟蹤的目標并且在當前幀中的預測跟蹤框trks = np.ma.compress_rows(np.ma.masked_invalid(trks))"""1.for t in reversed(列表)：1.t：列表中的元素值2.要想從List列表中刪除任意索引位置的元素的話，必須不能從列表頭開始遍歷刪除元素，必須從列表尾向列表頭的方向進行遍歷刪除元素，因為如果從列表頭開始遍歷刪除元素的話，便會導致后面的元素會移動補充到被刪除元素的索引位置上，那么再向后進行遍歷時便會出現漏遍歷的元素，也即防止破壞索引，因此刪除列表中元素時需要從列表尾向列表頭的方向進行遍歷。2.for t in reversed(to_del)1.t：列表中的元素值2.此處to_del列表中的元素值保存的是trackers跟蹤器鏈(列表)中要刪除元素的索引值，因此從to_del列表的列表尾向列表頭的方向進行遍歷出“trackers跟蹤器鏈(列表)中要刪除元素的”索引值。然后使用trackers.pop(t)根據trackers跟蹤器鏈(列表)中元素的索引值t自動從列表中移除該元素。3.List pop()方法1.pop()方法語法：list.pop([index=-1])2.pop()函數用于移除列表中的一個元素（默認最后一個元素），并且返回該元素的值。3.pop(可選參數)中參數：可選參數，要移除列表元素的索引值，不能超過列表總長度，默認為 index=-1，刪除最后一個列表值。4.pop()返回值：該方法返回從列表中被移除的元素對象。5.pop(要移除的列表中元素的索引值)：根據列表中元素的索引值自動從列表中移除"""#刪除nan的結果，逆向刪除異常的跟蹤器，防止破壞索引for t in reversed(to_del):"""根據to_del列表中保存的跟蹤框的索引值到跟蹤器鏈(列表)中將該跟蹤框從其中移除出去。trackers：上一幀中的跟蹤器鏈(列表)，保存的是上一幀中成功跟蹤目標的跟蹤框，也即成功跟蹤目標的KalmanBoxTracker卡爾曼濾波對象。trackers.pop(要移除的某個跟蹤框的索引值)：即能根據該索引值從跟蹤器鏈(列表)中把該跟蹤框移除出去"""# pop(要移除的列表中元素的索引值)：根據列表中元素的索引值自動從列表中移除self.trackers.pop(t)"""matches：[[檢測框的索引值, 跟蹤框的索引值] [檢測框的索引值, 跟蹤框的索引值] 。。。]跟蹤成功并且兩兩匹配組合的IOU值大于iou閾值的檢測框和跟蹤框組成的矩陣unmatched_detections：[檢測框的索引值,。。。]1.新增目標的檢測框在detections檢測框列表中的索引位置2.兩兩匹配組合的IOU值小于iou閾值的檢測框在detections檢測框列表中的索引位置unmatched_trackers：[跟蹤框的索引值,。。。]1.跟蹤失敗的跟蹤框/預測框在trackers跟蹤框列表中的索引位置2.兩兩匹配組合的IOU值小于iou閾值的跟蹤框/預測框在trackers跟蹤框列表中的索引位置1.matched：跟蹤成功目標的矩陣。即前后幀都存在的目標，并且匹配成功同時大于iou閾值。2.unmatched_detections(列表)：1.檢測框中出現新目標，但此時預測框(跟蹤框)中仍不不存在該目標，那么就需要在創建新目標對應的預測框/跟蹤框(KalmanBoxTracker類的實例對象)，然后把新目標對應的KalmanBoxTracker類的實例對象放到跟蹤器鏈(列表)中。2.同時如果因為“跟蹤框和檢測框之間的”兩兩組合的匹配度IOU值小于iou閾值，則也要把目標檢測框放到unmatched_detections中。3.unmatched_trackers(列表)：1.當跟蹤目標失敗或目標離開了畫面時，也即目標從檢測框中消失了，就應把目標對應的跟蹤框(預測框)從跟蹤器鏈中刪除。unmatched_trackers列表中保存的正是跟蹤失敗即離開畫面的目標，但該目標對應的預測框/跟蹤框(KalmanBoxTracker類的實例對象)此時仍然存在于跟蹤器鏈(列表)中，因此就需要把該目標對應的預測框/跟蹤框(KalmanBoxTracker類的實例對象)從跟蹤器鏈(列表)中刪除出去。2.同時如果因為“跟蹤框和檢測框之間的”兩兩組合的匹配度IOU值小于iou閾值，則也要把跟蹤目標框放到unmatched_trackers中。"""#使用匈牙利算法：將目標檢測框和卡爾曼濾波器預測的跟蹤框進行匹配，分別獲取跟蹤成功的目標，新增的目標，離開畫面的目標matched, unmatched_dets, unmatched_trks = associate_detections_to_trackers(dets, trks)"""for t, trk in enumerate(trackers列表)t：為從0到列表長度-1的索引值trk：trackers列表中每個KalmanBoxTracker卡爾曼濾波對象"""#將跟蹤成功的目標更新到對應的卡爾曼濾波器for t,trk in enumerate(self.trackers):""" 1.trackers：上一幀中的跟蹤器鏈(列表)，保存的是上一幀中成功跟蹤目標的跟蹤框，也即成功跟蹤目標的KalmanBoxTracker卡爾曼濾波對象。2.for t, trk in enumerate(trackers)：遍歷上一幀中的跟蹤器鏈(列表)中從0到列表長度-1的索引值t 和 每個KalmanBoxTracker卡爾曼濾波對象trk。3.if t not in unmatched_trks：如果上一幀中的跟蹤框(KalmanBoxTracker卡爾曼濾波對)的索引值不在當前幀中的unmatched_trackers(列表)中的話，即代表上一幀中的跟蹤框在當前幀中成功跟蹤到目標，并且代表了“上一幀中的跟蹤框在當前幀中的”預測框和當前幀中的檢測框的匹配度IOU值大于iou閾值。4.matched[:, 1]：獲取的是跟蹤框的索引值，即[[檢測框的索引值, 跟蹤框的索引值] 。。。]中的跟蹤框的索引值。5.np.where(matched[:, 1] == t)[0]：where返回的為符合條件的“[檢測框的索引值, 跟蹤框的索引值]”數組在matched矩陣中的索引值，即行值。因此最后使用[0]就是從array([索引值/行值])中把索引值/行值取出來。6.matched[索引值/行值, 0]：根據索引值/行值獲取出matched矩陣中的[檢測框的索引值, 跟蹤框的索引值]，然后獲取出第一列的“檢測框的索引值”。7.dets[d, :]：根據檢測框的索引值/行值從當前幀中的dets檢測框列表獲取出該檢測框的所有列值，最終返回的是一個二維矩陣如下所示：第一種方案：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, yolo識別目標是某種物體的可信度]]第二種方案(當前使用的為該種)：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標]]8.dets[d, :][0]：獲取出[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標]9.trk.update(檢測框的5個值的列表)：使用檢測框進行更新狀態更新向量x(狀態變量x)，也即使用檢測框更新跟蹤框。"""if t not in unmatched_trks:d = matched[np.where(matched[:, 1] == t)[0], 0]# 使用觀測的邊界框更新狀態向量trk.update(dets[d, :][0])"""unmatched_detections(列表)保存了出現新目標的檢測框的索引值，還保存了“因為跟蹤框和檢測框之間的兩兩組合的匹配度IOU值小于iou閾值的”目標檢測框的索引值。dets[i, :]：根據索引值從當前幀中的檢測框列表dets中獲取對應的檢測框，即該行的所有列值。該檢測框的值為：第一種方案：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, yolo識別目標是某種物體的可信度]]第二種方案(當前使用的為該種)：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標]]KalmanBoxTracker(dets[i, :])：傳入檢測框進行創建該新目標對應的跟蹤框KalmanBoxTracker卡爾曼濾波對象trk。每個目標框都有對應的一個卡爾曼濾波器(KalmanBoxTracker實例對象)，增加一個目標框就增加一個卡爾曼濾波器(KalmanBoxTracker實例對象)。trackers.append(trk)：把新增的卡爾曼濾波器(KalmanBoxTracker實例對象trk)存儲到跟蹤器鏈(列表)trackers中"""#為新增目標創建新的卡爾曼濾波器的跟蹤器for i in unmatched_dets:# trk = KalmanBoxTracker(dets[i,0])trk = KalmanBoxTracker(dets[i, :])self.trackers.append(trk)# 自后向前遍歷，僅返回在當前幀出現且命中周期大于self.min_hits（除非跟蹤剛開始）的跟蹤結果；如果未命中時間大于self.max_age則刪除跟蹤器。# hit_streak忽略目標初始的若干幀""" i為trackers跟蹤器鏈(列表)長度，從列表尾向列表頭的方向 每遍歷trackers跟蹤器鏈(列表)一次 即進行 i-=1 """i = len(self.trackers)""" reversed逆向遍歷trackers跟蹤器鏈(列表)，目的為刪除列表中的元素的同時不會造成漏遍歷元素的問題 """# 逆向遍歷for trk in reversed(self.trackers):""" (跟蹤框)KalmanBoxTracker卡爾曼濾波對象trk.get_state()：獲取跟蹤框所預測的在當前幀中的預測結果（已經從[x,y,s,r]轉換為[x1,y1,x2,y2]） [x1,y1,x2,y2]即為[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標]。get_state()[0] 中使用[0] 是因為返回的為二維矩陣如下： 第一種方案：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, yolo識別目標是某種物體的可信度]]第二種方案(當前使用的為該種)：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標]]"""#返回當前邊界框的估計值d = trk.get_state()[0]"""1.trk.time_since_update < 1：1.time_since_update：記錄了該目標對應的卡爾曼濾波器中的預測框(跟蹤框)進行連續預測的次數，每執行predict一次即進行time_since_update+=1。在連續預測(連續執行predict)的過程中，一旦執行update的話，time_since_update就會被重置為0。2. time_since_update < 1：該目標對應的卡爾曼濾波器一旦update更新的話該變量值便重置為0，因此要求該目標對應的卡爾曼濾波器必須執行update更新步驟。update更新代表了使用檢測框來更新狀態更新向量x(狀態變量x)的操作，實際即代表了使用“通過yoloV3得到的并且和預測框(跟蹤框)相匹配的”檢測框來更新該目標對應的卡爾曼濾波器中的預測框(跟蹤框)。2.trk.hit_streak >= min_hits：1.hit_streak1.連續更新的次數，每執行update一次即進行hit_streak+=1。2.在連續更新(連續執行update)的過程中，一旦開始連續執行predict兩次或以上的情況下，當連續第一次執行predict時，因為time_since_update仍然為0，并不會把hit_streak重置為0，然后才會進行time_since_update+=1；當連續第二次執行predict時，因為time_since_update已經為1，那么便會把hit_streak重置為0，然后繼續進行time_since_update+=1。 2.min_hits跟蹤框連續成功跟蹤到目標的最小次數，也即跟蹤框至少需要連續min_hits次成功跟蹤到目標。3.hit_streak >= min_hits跟蹤框連續更新的次數hit_streak必須大于等于min_hits。而小于該min_hits次數的話update函數不返回該目標的KalmanBoxTracker卡爾曼濾波對象。3.frame_count <= min_hits：因為視頻的一開始frame_count為0，而需要每經過一幀frame_count才會+=1。因此在視頻的一開始前N幀中，即使frame_count 小于等于min_hits 也可以。"""# 跟蹤成功目標的box與id放入ret列表中if (trk.time_since_update < 1) and (trk.hit_streak >= self.min_hits or self.frame_count <= self.min_hits):""" 1.ret：當前幀中跟蹤目標成功的跟蹤框/預測框的集合，包含目標的跟蹤的id(也即該跟蹤框(卡爾曼濾波實例對象)是創建出來的第幾個)第一種返回值方案：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, yolo識別目標是某種物體的可信度, trk.id] ...]第二種返回值方案(當前使用的為該種)：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, trk.id] ...]d：[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標]trk.id：卡爾曼濾波器的個數/目標框的個數，也即該跟蹤框(卡爾曼濾波實例對象)是創建出來的第幾個。2.np.concatenate((d, [trk.id + 1])).reshape(1, -1)[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, 該跟蹤框是創建出來的第幾個]]"""ret.append(np.concatenate((d, [trk.id + 1])).reshape(1, -1)) # +1 as MOT benchmark requires positive""" i為trackers跟蹤器鏈(列表)長度，從列表尾向列表頭的方向 每遍歷trackers跟蹤器鏈(列表)一次 即進行 i-=1 """i -= 1"""trk.time_since_update > max_age1.time_since_update：記錄了該目標對應的卡爾曼濾波器中的預測框(跟蹤框)進行連續預測的次數，每執行predict一次即進行time_since_update+=1。在連續預測(連續執行predict)的過程中，一旦執行update的話，time_since_update就會被重置為0。2.max_age：最大跟丟幀數。如果當前連續N幀大于最大跟丟幀數的話，則從跟蹤器鏈中刪除該卡爾曼濾波對象的預測框(跟蹤框)。3.time_since_update > max_age：每預測一幀time_since_update就會+=1，只有預測的跟蹤框跟蹤到目標(即預測的跟蹤框和檢測框相似度匹配)才會執行update更新，那么time_since_update才會被重置為0。那么當連續time_since_update幀都沒有跟蹤到目標的話，即當連續time_since_update幀大于最大跟丟幀數時，那么就需要根據該跟蹤失敗的跟蹤器框的索引把該跟蹤器框從跟蹤器鏈(列表)trackers中進行移除出去。"""# 跟蹤失敗或離開畫面的目標從卡爾曼跟蹤器中刪除if trk.time_since_update > self.max_age:"""trackers：上一幀中的跟蹤器鏈(列表)，保存的是上一幀中成功跟蹤目標的跟蹤框，也即成功跟蹤目標的KalmanBoxTracker卡爾曼濾波對象。trackers.pop(要移除的某個跟蹤框的索引值)：即能根據該索引值從跟蹤器鏈(列表)中把該跟蹤框移除出去"""# pop(要移除的列表中元素的索引值)：根據列表中元素的索引值自動從列表中移除self.trackers.pop(i)# 返回當前畫面中所有目標的box與id,以二維矩陣形式返回if len(ret) > 0:""" ret：當前幀中跟蹤目標成功的跟蹤框/預測框的集合，包含目標的跟蹤的id(也即該跟蹤框(卡爾曼濾波實例對象)是創建出來的第幾個)第一種返回值方案：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, yolo識別目標是某種物體的可信度, trk.id] ...]第二種返回值方案(當前使用的為該種)：[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, trk.id] ...]d：[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標]trk.id：卡爾曼濾波器的個數/目標框的個數，也即該跟蹤框(卡爾曼濾波實例對象)是創建出來的第幾個。[[左上角的x坐標, 左上角的x坐標y坐標, 右下角的x坐標, 右下角的y坐標, yolo識別目標是某種物體的可信度, 該跟蹤框是創建出來的第幾個] [...][...]]"""return np.concatenate(ret)return np.empty((0, 5))

3.環境配置?requirements.txt

amqp==2.5.2 billiard==3.6.3.0 celery==4.4.2 certifi==2019.11.28 chardet==3.0.4 click==7.1.1 colorama==0.3.9 cycler==0.10.0 Cython==0.29.19 decorator==4.4.2 Django==2.2.10 django-redis==4.11.0 filterpy==1.4.5 fire==0.1.3 Flask==1.1.1 h5py==2.8.0 idna==2.8 imageio==2.8.0 imageio-ffmpeg==0.4.1 importlib-metadata==1.6.0 imutils==0.5.3 itsdangerous==1.1.0 Jinja2==2.11.1 Kalman==0.1.3 kiwisolver==1.1.0 kombu==4.6.8 llvmlite==0.31.0 MarkupSafe==1.1.1 matplotlib==2.2.3 moviepy==1.0.1 numba==0.39.0 numpy==1.15.4 opencv-python==3.4.3.18 pandas==0.23.4 Pillow==7.0.0 proglog==0.1.9 protobuf==3.11.3 pyparsing==2.4.6 python-dateutil==2.8.1 pytz==2019.3 redis==3.4.1 requests==2.21.0 scipy==1.1.0 six==1.14.0 sqlparse==0.3.1 tensorboardX==1.6 torch==0.4.1 torchvision==0.2.1 tqdm==4.29.1 urllib3==1.24.3 vine==1.3.0 Werkzeug==1.0.0 zipp==3.1.0

總結

以上是生活随笔為你收集整理的智慧交通day02-车流量检测实现14：代码汇总+问题修正的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。