探索 YOLO v3 实现细节 - 第6篇 预测 (完结)
生活随笔
收集整理的這篇文章主要介紹了
探索 YOLO v3 实现细节 - 第6篇 预测 (完结)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
YOLO，即You Only Look Once的縮寫，是一個基于卷積神經網絡（CNN）的物體檢測算法。而YOLO v3是YOLO的第3個版本，即YOLO、YOLO 9000、YOLO v3，檢測效果，更準更強。
YOLO v3的更多細節，可以參考YOLO的官網。
YOLO是一句美國的俗語，You Only Live Once，你只能活一次，即人生苦短，及時行樂。
本文主要分享，如何實現YOLO v3的算法細節，Keras框架。這是第6篇，檢測圖片中的物體，使用訓練完成的模型，通過框置信度與類別置信度的乘積，篩選最優的檢測框。本系列一共6篇，已完結，這是一個完整版 ：）
本文的GitHub源碼：github.com/SpikeKing/k…
已更新：
- 第1篇 訓練：mp.weixin.qq.com/s/T9LshbXoe…
- 第2篇 模型：mp.weixin.qq.com/s/N79S9Qf1O…
- 第3篇 網絡：mp.weixin.qq.com/s/hC4P7iRGv…
- 第4篇 真值：mp.weixin.qq.com/s/5Sj7QadfV…
- 第5篇 Loss：mp.weixin.qq.com/s/4L9E4WGSh…
歡迎關注，微信公眾號 深度算法 （ID: DeepAlgorithm） ，了解更多深度技術！
1. 檢測函數
使用已經訓練完成的YOLO v3模型，檢測圖片中的物體，其中：
- 創建YOLO類的實例yolo；
- 使用Image.open()加載圖像image；
- 調用yolo.detect_image()檢測圖像image；
- 關閉yolo的session；
- 顯示檢測完成的圖像r_image；
實現：
def detect_img_for_test():yolo = YOLO()img_path = './dataset/img.jpg'image = Image.open(img_path)r_image = yolo.detect_image(image)yolo.close_session()r_image.show() 復制代碼輸出：
2. YOLO參數
YOLO類的初始化參數：
- anchors_path：anchor box的配置文件，9個寬高組合；
- model_path：已訓練完成的模型，支持重新訓練的模型；
- classes_path：類別文件，與模型文件匹配；
- score：置信度的閾值，刪除小于閾值的候選框；
- iou：候選框的IoU閾值，刪除同類別中大于閾值的候選框；
- class_names：類別列表，讀取classes_path；
- anchors：anchor box列表，讀取anchors_path；
- model_image_size：模型所檢測圖像的尺寸，輸入圖像都需要按此填充；
- colors：通過HSV色域，生成隨機顏色集合，數量等于類別數class_names；
- boxes、scores、classes：檢測的核心輸出，函數generate()所生成，是模型的輸出封裝。
實現：
self.anchors_path = 'configs/yolo_anchors.txt' # Anchors self.model_path = 'model_data/yolo_weights.h5' # 模型文件 self.classes_path = 'configs/coco_classes.txt' # 類別文件self.score = 0.20 self.iou = 0.20 self.class_names = self._get_class() # 獲取類別 self.anchors = self._get_anchors() # 獲取anchor self.sess = K.get_session() self.model_image_size = (416, 416) # fixed size or (None, None), hw self.colors = self.__get_colors(self.class_names) self.boxes, self.scores, self.classes = self.generate() 復制代碼在__get_colors()中：
- 將HSV的第0位H值，按1等分，其余SV值，均為1，生成一組HSV列表；
- 調用hsv_to_rgb，將HSV色域轉換為RGB色域；
- 0~1的RGB值乘以255，轉換為完整的顏色值，(0~255)；
- 隨機shuffle顏色列表；
實現：
# 不同的框，不同的顏色hsv_tuples = [(float(x) / len(names), 1., 1.)for x in range(len(names))] # 不同顏色colors = list(map(lambda x: colorsys.hsv_to_rgb(*x), hsv_tuples))colors = list(map(lambda x: (int(x[0] * 255), int(x[1] * 255), int(x[2] * 255)), colors)) # RGBnp.random.seed(10101)np.random.shuffle(colors)np.random.seed(None)return colors 復制代碼選擇HSV劃分，而不是RGB的原因是，HSV的顏色值偏移更好，畫出的框，顏色更容易區分。
3. 輸出封裝
boxes、scores、classes是在模型的基礎上，繼續封裝，由函數generate()所生成，其中：
- boxes：框的四個點坐標，(top, left, bottom, right)；
- scores：框的類別置信度，融合框置信度和類別置信度；
- classes：框的類別；
在函數generate()中，設置參數：
- num_anchors：anchor box的總數，一般是9個；
- num_classes：類別總數，如COCO是80個類；
- yolo_model：由yolo_body所創建的模型，調用load_weights加載參數；
實現：
num_anchors = len(self.anchors) # anchors的數量 num_classes = len(self.class_names) # 類別數self.yolo_model = yolo_body(Input(shape=(416, 416, 3)), 3, num_classes) self.yolo_model.load_weights(model_path) # 加載模型參數 復制代碼接著，設置input_image_shape為placeholder，即TF中的參數變量。在yolo_eval中：
- 繼續封裝yolo_model的輸出output；
- anchors，anchor box列表；
- 類別class_names的總數len()；
- 輸入圖片的可選尺寸，input_image_shape，即(416, 416)；
- score_threshold，框的整體置信度閾值score；
- iou_threshold，同類別框的IoU閾值iou；
- 返回，框的坐標boxes，框的類別置信度scores，框的類別classes；
實現：
self.input_image_shape = K.placeholder(shape=(2,)) boxes, scores, classes = yolo_eval(self.yolo_model.output, self.anchors, len(self.class_names),self.input_image_shape, score_threshold=self.score, iou_threshold=self.iou) return boxes, scores, classes 復制代碼輸出的scores值，都會大于score_threshold，小于的在yolo_eval()中已被刪除。
4. YOLO評估
在函數yolo_eval()中，完成預測邏輯的封裝，其中輸入：
- yolo_outputs：YOLO模型的輸出，3個尺度的列表，即13-26-52，最后1維是預測值，由255=3x(5+80)組成，3是每層的anchor數，5是4個框值xywh和1個框中含有物體的置信度，80是COCO的類別數；
- anchors：9個anchor box的值；
- num_classes：類別個數，COCO是80個類別；
- image_shape：placeholder類型的TF參數，默認(416, 416)；
- max_boxes：圖中每個類別的最大檢測框數，20個；
- score_threshold：框置信度閾值，小于閾值的框被刪除，需要的框較多，則調低閾值，需要的框較少，則調高閾值；
- iou_threshold：同類別框的IoU閾值，大于閾值的重疊框被刪除，重疊物體較多，則調高閾值，重疊物體較少，則調低閾值；
其中，yolo_outputs格式，如下：
[(?, 13, 13, 255), (?, 26, 26, 255), (?, 52, 52, 255)] 復制代碼其中，anchors列表，如下：
[(10,13), (16,30), (33,23), (30,61), (62,45), (59,119), (116,90), (156,198), (373,326)] 復制代碼實現：
boxes, scores, classes = yolo_eval(self.yolo_model.output, self.anchors, len(self.class_names),self.input_image_shape, score_threshold=self.score, iou_threshold=self.iou)def yolo_eval(yolo_outputs, anchors, num_classes, image_shape,max_boxes=20, score_threshold=.6, iou_threshold=.5): 復制代碼接著，處理參數：
- num_layers，輸出特征圖的層數，3層；
- anchor_mask，將anchors劃分為3個層，第1層13x13是678，第2層26x26是345，第3層52x52是012；
- input_shape：輸入圖像的尺寸，也就是第0個特征圖的尺寸乘以32，即13x32=416，這與Darknet的網絡結構有關。
特征圖越大，13->52，檢測的物體越小，需要的anchors越小，所以anchors列表以倒序賦值。
接著，在YOLO的第l層輸出yolo_outputs中，調用yolo_boxes_and_scores()，提取框_boxes和置信度_box_scores，將3個層的框數據放入列表boxes和box_scores，再拼接concatenate展平，輸出的數據就是所有的框和置信度。
其中，輸出的boxes和box_scores的格式，如下：
boxes: (?, 4) # ?是框數 box_scores: (?, 80) 復制代碼實現：
boxes = [] box_scores = [] for l in range(num_layers):_boxes, _box_scores = yolo_boxes_and_scores(yolo_outputs[l], anchors[anchor_mask[l]], num_classes, input_shape, image_shape)boxes.append(_boxes)box_scores.append(_box_scores) boxes = K.concatenate(boxes, axis=0) box_scores = K.concatenate(box_scores, axis=0) 復制代碼concatenate的作用是：將多個層的數據展平，因為框已經還原為真實坐標，不同尺度沒有差異。
在函數yolo_boxes_and_scores()中：
- yolo_head的輸出：box_xy是box的中心坐標，(0~1)相對位置；box_wh是box的寬高，(0~1)相對值；box_confidence是框中物體置信度；box_class_probs是類別置信度；
- yolo_correct_boxes，將box_xy和box_wh的(0~1)相對值，轉換為真實坐標，輸出boxes是(y_min,x_min,y_max,x_max)的值；
- reshape，將不同網格的值展平為框的列表，即(?,13,13,3,4)->(?,4)；
- box_scores是框置信度與類別置信度的乘積，再reshape展平，(?,80)；
- 返回框boxes和框置信度box_scores。
實現：
def yolo_boxes_and_scores(feats, anchors, num_classes, input_shape, image_shape):'''Process Conv layer output'''box_xy, box_wh, box_confidence, box_class_probs = yolo_head(feats, anchors, num_classes, input_shape)boxes = yolo_correct_boxes(box_xy, box_wh, input_shape, image_shape)boxes = K.reshape(boxes, [-1, 4])box_scores = box_confidence * box_class_probsbox_scores = K.reshape(box_scores, [-1, num_classes])return boxes, box_scores 復制代碼接著：
- mask，過濾小于置信度閾值的框，只保留大于置信度的框，mask掩碼；
- max_boxes_tensor，圖片中每個類別的最大檢測框數，max_boxes是20；
實現：
mask = box_scores >= score_threshold max_boxes_tensor = K.constant(max_boxes, dtype='int32') 復制代碼接著：
- 通過掩碼mask和類別c，篩選框class_boxes和置信度class_box_scores；
- 通過NMS，非極大值抑制，篩選出框boxes的NMS索引nms_index；
- 根據索引，選擇gather輸出的框class_boxes和置信class_box_scores度，再生成類別信息classes；
- 將多個類別的數據組合，生成最終的檢測數據框，并返回。
實現：
boxes_ = [] scores_ = [] classes_ = [] for c in range(num_classes):class_boxes = tf.boolean_mask(boxes, mask[:, c])class_box_scores = tf.boolean_mask(box_scores[:, c], mask[:, c])nms_index = tf.image.non_max_suppression(class_boxes, class_box_scores, max_boxes_tensor, iou_threshold=iou_threshold)class_boxes = K.gather(class_boxes, nms_index)class_box_scores = K.gather(class_box_scores, nms_index)classes = K.ones_like(class_box_scores, 'int32') * cboxes_.append(class_boxes)scores_.append(class_box_scores)classes_.append(classes) boxes_ = K.concatenate(boxes_, axis=0) scores_ = K.concatenate(scores_, axis=0) classes_ = K.concatenate(classes_, axis=0) 復制代碼輸出格式：
boxes_: (?, 4) scores_: (?,) classes_: (?,) 復制代碼5. 檢測方法
第1步，圖像處理：
第2步，feed數據，圖像，圖像尺寸；
out_boxes, out_scores, out_classes = self.sess.run([self.boxes, self.scores, self.classes],feed_dict={self.yolo_model.input: image_data,self.input_image_shape: [image.size[1], image.size[0]],K.learning_phase(): 0}) 復制代碼第3步，繪制邊框，自動設置邊框寬度，繪制邊框和類別文字，使用Pillow繪圖庫。
font = ImageFont.truetype(font='font/FiraMono-Medium.otf',size=np.floor(3e-2 * image.size[1] + 0.5).astype('int32')) # 字體 thickness = (image.size[0] + image.size[1]) // 512 # 厚度 for i, c in reversed(list(enumerate(out_classes))):predicted_class = self.class_names[c] # 類別box = out_boxes[i] # 框score = out_scores[i] # 執行度label = '{} {:.2f}'.format(predicted_class, score) # 標簽draw = ImageDraw.Draw(image) # 畫圖label_size = draw.textsize(label, font) # 標簽文字top, left, bottom, right = boxtop = max(0, np.floor(top + 0.5).astype('int32'))left = max(0, np.floor(left + 0.5).astype('int32'))bottom = min(image.size[1], np.floor(bottom + 0.5).astype('int32'))right = min(image.size[0], np.floor(right + 0.5).astype('int32'))print(label, (left, top), (right, bottom)) # 邊框if top - label_size[1] >= 0: # 標簽文字text_origin = np.array([left, top - label_size[1]])else:text_origin = np.array([left, top + 1])# My kingdom for a good redistributable image drawing library.for i in range(thickness): # 畫框draw.rectangle([left + i, top + i, right - i, bottom - i],outline=self.colors[c])draw.rectangle( # 文字背景[tuple(text_origin), tuple(text_origin + label_size)],fill=self.colors[c])draw.text(text_origin, label, fill=(0, 0, 0), font=font) # 文案del draw 復制代碼補充
1. concatenate
concatenate將相同維度的數據元素連接到一起。
實現：
from keras import backend as Ksess = K.get_session()a = K.constant([[2, 4], [1, 2]]) b = K.constant([[3, 2], [5, 6]]) c = [a, b] c = K.concatenate(c, axis=0)print(sess.run(c)) """ [[2. 4.] [1. 2.] [3. 2.] [5. 6.]] """ 復制代碼2. gather
gather以索引選擇列表元素。
實現：
from keras import backend as Ksess = K.get_session()a = K.constant([[2, 4], [1, 2], [5, 6]]) b = K.gather(a, [1, 2])print(sess.run(b)) """ [[1. 2.] [5. 6.]] """ 復制代碼OK, that's all! Enjoy it!
歡迎關注，微信公眾號 深度算法 （ID: DeepAlgorithm） ，了解更多深度技術！
《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的探索 YOLO v3 实现细节 - 第6篇 预测 (完结)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： PHP利用反射根据类名反向寻找类所在文件
- 下一篇： 开源应用框架BitAdminCore：更