【目标检测实验系列】使用yolov3 spp训练西工大遥感数据集NWPU VHR-10（包括如何将NWPU VHR-10转为VOC格式和yolov3 spp实验调试的详细步骤，且附上训练完的权重文件）
目錄
- 1. 文章主要內(nèi)容
- 2. 西工大數(shù)據(jù)集轉(zhuǎn)換為VOC格式數(shù)據(jù)集
- 2.1 VOC數(shù)據(jù)集結構
- 2.2 西工大數(shù)據(jù)集
- 2.3 轉(zhuǎn)換格式
- 2.3.1 構建與VOC類似的數(shù)據(jù)集文件結構(文件夾名可以自定義)
- 2.3.2 數(shù)據(jù)預處理
- 3. yolov3 spp 訓練NWPU-VHR-10 dataset
- 3.1 源碼下載及其相關準備文件
- 3.2 VOC格式數(shù)據(jù)集轉(zhuǎn)換為yolo格式
- 4. yolov3 spp 項目參數(shù)解析、如何獲取best.pt以及定位到對應的epoch
- 4.1 yolov3 spp 項目部分參數(shù)解析
- 4.2 如何獲取best.pt以及定位到對應的epoch
- 5. 本篇小結
1. 文章主要內(nèi)容
? ? ? ?此篇博客為[目標檢測實驗系列]的首篇博客，該系列主要記錄在目標檢測實驗過程中的詳細步驟和所思所想，歡迎大家互相交流。
? ? ? ?本篇博客參考的主要內(nèi)容來源于：
? ? ? ?大彤小憶–使用Python將NWPU VHR-10數(shù)據(jù)集的格式轉(zhuǎn)換成VOC2007數(shù)據(jù)集的格式
? ? ? ?霹靂吧啦Wz–YOLOv3 SPP源碼解析-1代碼使用簡介
? ? ? ?本篇博客主要涉及兩個主體內(nèi)容。第一個：將西工大遙感數(shù)據(jù)集NWPU VHR-10的格式轉(zhuǎn)為VOC通用的數(shù)據(jù)集。第二個：再次將轉(zhuǎn)換后的VOC格式的數(shù)據(jù)集轉(zhuǎn)變成yolov3 spp所需要格式的數(shù)據(jù)集，之后調(diào)試項目內(nèi)容，達到成功跑通項目的要求。（通讀本篇博客大概需要10分鐘左右的時間）。
2. 西工大數(shù)據(jù)集轉(zhuǎn)換為VOC格式數(shù)據(jù)集
2.1 VOC數(shù)據(jù)集結構
? ? ? ?VOC通用數(shù)據(jù)集格式如下圖所示：
? ? ? ?特別注意以下幾點內(nèi)容：
? ? ? ?1.這里的箭頭表示的文件夾由外到內(nèi)，比如VOCdevkit文件夾包含了VOC2012文件，而VOC2012文件夾包含Annotations、ImageSets和JPEGImages
? ? ? ?2.這里的VOC2012文件夾名字也可以換成VOC2007，代表不同的版本。事實上，只要保證整體的文件夾結構沒有問題，所有的文件夾名字都可以自定義，只需要在對應的模型代碼中指定好自定義的文件夾名字。
? ? ? ?3.和Annotations、ImageSets和JPEGImages同級目錄下，還有兩個文件夾SegmentationClass、SegementionObject。因為這里用不到，所以不過多贅述。各個文件內(nèi)容代表什么，請各位同學自己研究。
2.2 西工大數(shù)據(jù)集
? ? ? ?特別注意：西工大數(shù)據(jù)集-(提取密碼:1234)
? ? ? ?西工大NWPU VHR-10數(shù)據(jù)集包含10種類別，其主要結構如下圖所示：
? ? ? ?特別注意以下幾點內(nèi)容：
? ? ? ?1.groud truth文件夾內(nèi)容是坐標信息以及所對應的類別；positive image set文件夾內(nèi)容是正樣本的圖片; negative image set文件夾內(nèi)容是負樣本的圖片
2.3 轉(zhuǎn)換格式
2.3.1 構建與VOC類似的數(shù)據(jù)集文件結構(文件夾名可以自定義)
? ? ? ?本篇博客構建的文件結構如下圖所示：(用于存放轉(zhuǎn)換后的數(shù)據(jù)集)
2.3.2 數(shù)據(jù)預處理
? ? ? ?因為NWPU VHR-10數(shù)據(jù)集的positive image set圖片內(nèi)容是從001.jpg-650.jpg，而negative image set圖片內(nèi)容是從001.jpg到150.jpg。首先，需要將正樣本的數(shù)據(jù)和負樣本的數(shù)據(jù)合并，并且重寫進行順序編號處理，改成000001.jpg-000800.jpg。其中positive image set文件夾內(nèi)的圖片被重命名為000001.jpg-000650.jpg，negative image set文件夾內(nèi)的圖片被重命名為000651.jpg-000800.jpg。
? ? ? ?最后將這800張圖片存放在D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/JPEGImages(注意：這里的文件夾路徑是自定義的，需按照每個同學文件夾的實際絕對路徑填寫),具體的轉(zhuǎn)換代碼如下所示：
? ? ? ?特別注意以下幾點內(nèi)容：
? ? ? ?1.代碼需要修改的部分在main函數(shù)里面，分別是old_path、new_path一共兩對。其中old_path分別對應于西工大數(shù)據(jù)集的positive image set、negative image set文件夾路徑，而new_path對應于轉(zhuǎn)換合并后創(chuàng)建的新文件夾路徑，上面有提到。
? ? ? ?接下來處理Annoatations文件夾的內(nèi)容：將NWPU VHR-10數(shù)據(jù)集的ground truth文件夾內(nèi)的標注信息txt文件轉(zhuǎn)換為與VOC2007數(shù)據(jù)集的Annotations文件夾內(nèi)的標注信息xml文件格式相同的xml文件，并重命名為000001.xml-000650.xml；由于negative image set文件夾內(nèi)的圖片沒有對應的標注信息文件，所以生成包含圖片的size信息、不包含object的bounding box信息的xml文件，并命名為000651.xml-000800.xml，并且存放在路徑為D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/Annoatations下（和上面一樣，這里也是自定義的路徑），具體的代碼如下所示：
from lxml.etree import Element,SubElement,tostring from xml.dom.minidom import parseString import xml.dom.minidom import os import sys from PIL import Image# 處理NWPU VHR-10數(shù)據(jù)集中的txt標注信息轉(zhuǎn)換成 xml文件 # 此處的path應該傳入的是NWPU VHR-10數(shù)據(jù)集文件夾下面的ground truth文件夾的目錄 # 即 path = "E:/Remote Sensing/Data Set/NWPU VHR-10 dataset/ground truth" def deal(path):files=os.listdir(path) # files獲取所有標注txt文件的文件名# 此處可以自行設置輸出路徑 按照VOC數(shù)據(jù)集的格式，xml文件應該輸出在數(shù)據(jù)集文件下面的Annotations文件夾下面outpath = "D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/Annoatations/"# 如果輸出文件夾不存在，就創(chuàng)建它if os.path.exists(outpath) == False:os.mkdir(outpath)# 遍歷所有的txt標注文件，一共650個txt文件for file in files:filename=os.path.splitext(file)[0] # 獲取ground truth文件夾中標注txt文件的文件名，比如如果文件名為001.txt，那么filename = '001'sufix=os.path.splitext(file)[1]# 獲取標注txt文件的后綴名 判斷是否為txtif sufix=='.txt': # 標注txt文件中每一行代表一個目標，(x1,y1)，(x2,y2)，class_number來表示xmins=[] ymins=[]xmaxs=[]ymaxs=[]names=[]# num,xmins,ymins,xmaxs,ymaxs,names=readtxt(path + '/' + file) # 調(diào)用readtxt文件獲取信息，轉(zhuǎn)到readtxt函數(shù)path_txt = path + '/' + file # 獲取txt標注文件的路徑信息# 打開txt標注文件with open(path_txt, 'r') as f:contents = f.read() # 將txt文件的信息按行讀取到contents列表中objects=contents.split('\n') # 以換行劃分每一個目標的標注信息，因為每一個目標的標注信息在txt文件中為一行 for i in range(objects.count('')): objects.remove('') # 將objects中的空格移除num=len(objects) # 獲取一個標注文件的目標個數(shù)，objects中一個元素代表的信息就是一個檢測目標 # 遍歷 objects列表，獲取每一個檢測目標的五維信息for objecto in objects: xmin=objecto.split(',')[0] # xmin = '(563'xmin=xmin.split('(')[1] # xmin = '563' 可能存在空格xmin=xmin.strip() # strip函數(shù)去掉字符串開頭結尾的空格符ymin=objecto.split(',')[1] # ymin = '478)'ymin=ymin.split(')')[0] # ymin = '478' 可能存在空格ymin=ymin.strip() # strip函數(shù)去掉字符串開頭結尾的空格符xmax=objecto.split(',')[2] # xmax同理xmax=xmax.split('(')[1]xmax=xmax.strip()ymax=objecto.split(',')[3] # ymax同理ymax=ymax.split(')')[0]ymax=ymax.strip()name=objecto.split(',')[4] # 與上 同理name=name.strip()if name=="1 " or name=="1": # 將數(shù)字信息轉(zhuǎn)換成label字符串信息name='airplane'elif name=="2 "or name=="2":name='ship'elif name== "3 "or name=="3":name='storage tank'elif name=="4 "or name=="4":name='baseball diamond'elif name=="5 "or name=="5":name='tennis court'elif name=="6 "or name=="6":name='basketball court'elif name=="7 "or name=="7":name='ground track field'elif name=="8 "or name=="8":name='harbor'elif name=="9 "or name=="9":name='bridge'elif name=="10 "or name=="10":name='vehicle' else:print(path) # print(xmin,ymin,xmax,ymax,name)xmins.append(xmin)ymins.append(ymin)xmaxs.append(xmax)ymaxs.append(ymax)names.append(name)filename_fill = str(int(filename)).zfill(6) # 將xml的文件名填充為6位數(shù)，比如1.xml就改為000001.xmlfilename_jpg = filename_fill + ".jpg" # 由于xml中存儲的文件名為000001.jpg，所以還得對所有的NWPU數(shù)據(jù)集中的圖片進行重命名print(filename_fill)dealpath = outpath + filename_fill +".xml"# 注意，經(jīng)過重命名轉(zhuǎn)換之后，圖片都存放在E:/Remote Sensing/Data Set/VOCdevkit2007/VOC2007/JPEGImages/中imagepath = "D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/JPEGImages/" + filename_fill + ".jpg"with open(dealpath, 'w') as f:img=Image.open(imagepath) # 根據(jù)圖片的地址打開圖片并獲取圖片的寬 和 高width=img.size[0]height=img.size[1]# 將圖片的寬和高以及其他和VOC數(shù)據(jù)集向?qū)男畔?/span>writexml(dealpath,filename_jpg,num,xmins,ymins,xmaxs,ymaxs,names, height, width)# 同時也得給negative image set文件夾下面的所有負樣本圖片生成xml標注negative_path = "D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/negative image set/"negative_images = os.listdir(negative_path)for file in negative_images:filename = file.split('.')[0] # 獲取文件名，不包括后綴名filename_fill = str(int(filename) + 650).zfill(6) # 將xml的文件名填充為6位數(shù)。同時加上650，比如1.xml就改為00001.xmlfilename_jpg = filename_fill + '.jpg' # 比如第一個負樣本001.jpg的filename_jpg 為000651.jpg## 重命名為6位數(shù)print(filename_fill)## 生成不含目標的xml文件dealpath = outpath + filename_fill +".xml"# 注意，經(jīng)過重命名轉(zhuǎn)換之后，圖片都存放在E:/Remote Sensing/Data Set/VOCdevkit2007/VOC2007/JPEGImages/中imagepath = "D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/JPEGImages/" + filename_fill + ".jpg"with open(dealpath, 'w') as f:img = Image.open(imagepath)width = img.size[0]height = img.size[1]# 將寬高和空的目標標注信息寫入xml標注writexml(dealpath,filename_jpg,num = 0,xmins = [],ymins = [],xmaxs = [],ymaxs = [],names = [],width=width,height=height)# NWPU數(shù)據(jù)集中標注的五維信息 (x1,y1) denotes the top-left coordinate of the bounding box, # (x2,y2) denotes the right-bottom coordinate of the bounding box # 所以 xmin = x1 ymin = y1, xmax = x2, ymax = y2 同時要注意這里的相對坐標是以圖片左上角為坐標原點計算的 # VOC數(shù)據(jù)集對于包圍框標注的格式是bounding-box（包含左下角和右上角xy坐標# 將從txt讀取的標注信息寫入到xml文件中 def writexml(path,filename,num,xmins,ymins,xmaxs,ymaxs,names,height, width):# Nwpu-vhr-10 < 1000*600node_root=Element('annotation')node_folder=SubElement(node_root,'folder')node_folder.text="VOC2007"node_filename=SubElement(node_root,'filename')node_filename.text="%s" % filenamenode_size=SubElement(node_root,"size")node_width = SubElement(node_size, 'width')node_width.text = '%s' % widthnode_height = SubElement(node_size, 'height')node_height.text = '%s' % heightnode_depth = SubElement(node_size, 'depth')node_depth.text = '3'for i in range(num):node_object = SubElement(node_root, 'object')node_name = SubElement(node_object, 'name')node_name.text = '%s' % names[i]node_name = SubElement(node_object, 'pose')node_name.text = '%s' % "unspecified"node_name = SubElement(node_object, 'truncated')node_name.text = '%s' % "0"node_difficult = SubElement(node_object, 'difficult')node_difficult.text = '0'node_bndbox = SubElement(node_object, 'bndbox')node_xmin = SubElement(node_bndbox, 'xmin')node_xmin.text = '%s'% xmins[i]node_ymin = SubElement(node_bndbox, 'ymin')node_ymin.text = '%s' % ymins[i]node_xmax = SubElement(node_bndbox, 'xmax')node_xmax.text = '%s' % xmaxs[i]node_ymax = SubElement(node_bndbox, 'ymax')node_ymax.text = '%s' % ymaxs[i]xml = tostring(node_root, pretty_print=True) dom = parseString(xml)with open(path, 'wb') as f:f.write(xml)returnif __name__ == "__main__":# path指定的是標注txt文件所在的路徑path = "D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/ground truth"deal(path)print("done!")? ? ? ?特別注意以下幾點內(nèi)容：
? ? ? ?1.代碼里只需要修改outpath 、negative_path、imagepath、path這四個變量的路徑值(也就是代碼里面所有和路徑相關的變量，都需要改成自己的實際路徑) ，其他不需要修改。修改后Annotations文件夾的部分內(nèi)容如下：
? ? ? ?最后我們來處理ImageSets文件夾，我們對NWPU VHR-10數(shù)據(jù)集進行劃分，劃分為train、val、trainval、test四個文件(其中train代表訓練集數(shù)據(jù)信息，val代表驗證集數(shù)據(jù)信息,trainval代表訓練和驗證集合并的數(shù)據(jù)信息,test為測試集數(shù)據(jù)的信息)。需要注意到trainval、test組成了整個數(shù)據(jù)集的信息，仔細分清楚各個之間的關系。我們給出劃分數(shù)據(jù)集信息的代碼，劃分后的數(shù)據(jù)集信息存放在D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/ImageSets/Main文件夾里面(注意：這里的路徑同樣是自定義路徑，不再做過多解釋),具體的代碼如下：
import os import randomtrainval_percent = 0.8 # 表示訓練集和驗證集(交叉驗證集)所占總圖片的比例 train_percent = 0.75 # 訓練集所占交叉驗證集的比例 xmlfilepath = 'D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/Annotations' txtsavepath = 'D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/ImageSets/Main' total_xml = os.listdir(xmlfilepath)num = 650 # 有目標的圖片數(shù) list = range(num) tv = int(num * trainval_percent) # xml文件中的交叉驗證集數(shù) tr = int(tv * train_percent) # xml文件中的訓練集數(shù)，注意，我們在前面定義的是訓練集占交叉驗證集的比例 trainval = random.sample(list, tv) train = random.sample(trainval, tr)ftrainval = open('D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/ImageSets/Main/trainval.txt', 'w') ftest = open('D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/ImageSets/Main/test.txt', 'w') ftrain = open('D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/ImageSets/Main/train.txt', 'w') fval = open('D:/deeplearning-by-liaohuan/object-detection/datasets/NWPU-VHR-10 dataset/nwpu-10/voc-nwpu-10/ImageSets/Main/val.txt', 'w')for i in list:name = total_xml[i][:-4] + '\n'if i in trainval:ftrainval.write(name)if i in train:ftrain.write(name)else:fval.write(name)else:ftest.write(name)for i in range(150):num = str(651 + i).zfill(6) + '\n'ftest.write(num)ftrainval.close() ftrain.close() fval.close() ftest.close()print("done!")? ? ? ?特別注意以下幾點內(nèi)容：
? ? ? ?1.代碼里修改的變量為xmlfilepath 、txtsavepath 、ftrainval、ftest、ftrain和fval.
? ? ? ?2.由于NWPU-VHR-10 dataset中只有positive image set文件夾中的650張圖片包含目標的標注信息，所以訓練集train及驗證集val只能在從這650張圖片中劃分，negative image set文件夾中的150張圖片不包含目標的標注信息，劃分在測試集test中.
? ? ? ?3.代碼中的trainval_percent 代表trainval.txt所占總數(shù)據(jù)集的比例,train_percent 代表在train.txt所占trainval.txt數(shù)據(jù)集(這里的總數(shù)據(jù)集是650張圖片,不包括不標注的150張圖片)的比例，千萬別搞混了，這里的比例自己也可以進行修改！這樣我們就成功的將西工大數(shù)據(jù)集轉(zhuǎn)為VOC格式的數(shù)據(jù)集了。最后,ImageSets的Main文件夾的內(nèi)容為：
3. yolov3 spp 訓練NWPU-VHR-10 dataset
3.1 源碼下載及其相關準備文件
? ? ? ?前提說明：以下操作都在本地環(huán)境OK的情況下進行的,如果沒有配置好環(huán)境,請根據(jù)下面源碼鏈接里環(huán)境配置一欄一一配置完成。
? ? ? ?首先下載yolov3 spp 源碼(yolov3 spp源碼鏈接),之后準備新建一個pascal_voc_classes.json放在源碼的data文件夾下(注意：如果源碼里面本來存在pascal_voc_classes.json,那么修改其內(nèi)容如下即可),因為我們這里使用的NWPU-VHR-10 dataset數(shù)據(jù)集,所以種類一共有10類,其json文件的代碼如下所示：
? ? ? ?其json文件在源代碼的目錄擺放位置如下圖所示(data文件夾里面其他文件暫時先別管,后面會生成)：
3.2 VOC格式數(shù)據(jù)集轉(zhuǎn)換為yolo格式
? ? ? ?使用源碼根目錄當中trans_voc2yolo.py腳本進行轉(zhuǎn)換,并在源碼下的data文件夾下生成my_data_label.names標簽文件.執(zhí)行腳本前，需要根據(jù)自己的路徑修改trans_voc2yolo.py中的一些參數(shù):（特別注意：這里的voc_root、voc_version正好對應于我們在上一部分處理得到的VOC格式的西工大數(shù)據(jù)集的最外面兩層的文件夾名字，其他的路徑按照以下代碼照搬即可）
voc_root = "nwpu-10" voc_version = "voc-nwpu-10"# 轉(zhuǎn)換的訓練集以及驗證集對應txt文件 train_txt = "train.txt" val_txt = "val.txt"# 轉(zhuǎn)換后的文件保存目錄 save_file_root = "./my_yolo_dataset"# label標簽對應json文件 label_json_path = './data/pascal_voc_classes.json'? ? ? ?轉(zhuǎn)換之后生成my_data_label.names標簽文件、以及train、val文件夾,其中文件夾內(nèi)的labels為圖片的標簽,而image為圖片的路徑信息，生成的內(nèi)容如下圖所示：
? ? ? ?然后，我們先來處理一下源碼cfg文件夾下的yolov3-spp.cfg文件,這里我們需要修改兩個參數(shù),分別是如下代碼的filters、classes，特別注意：我們的種類是10,所以classes為10,filters的計算公式為(classes + 5)x3,所以filters為45.
? ? ? ?之后使用源碼根目錄下的calculate_dataset.py腳本生成my_train_data.txt文件、my_val_data.txt文件以及my_data.data文件，并生成新的my_yolov3.cfg文件，執(zhí)行腳本前，需要修改以下參數(shù)：
train_annotation_dir = "./my_yolo_dataset/train/labels" val_annotation_dir = "./my_yolo_dataset/val/labels" classes_label = "./data/my_data_label.names" cfg_path = "./cfg/yolov3-spp.cfg"? ? ? ?特別注意：這里的train_annotation_dir、val_annotation_dir、classes_label、cfg_path 在之前的操作中都已經(jīng)生成，只需要根據(jù)實際路徑進行相關修改(如果一直跟著我的操作,則不需要修改路徑)
? ? ? ?運行calculate_dataset.py腳本之后，會在data文件夾下生成my_train_data.txt文件、my_val_data.txt文件以及my_data.data文件，并在cfg文件夾下生成新的my_yolov3.cfg文件,如下圖所示：
? ? ? ?特別注意：至此，我們已經(jīng)將NWPU-VHR-10 dataset的VOC格式數(shù)據(jù)集轉(zhuǎn)換成了yolo格式的數(shù)據(jù)集.
4. yolov3 spp 項目參數(shù)解析、如何獲取best.pt以及定位到對應的epoch
? ? ? ?首先，我們在上面yolov3 spp源碼鏈接預訓練權重下載地址一欄，下載相應的權重，博主使用的是yolov3-spp-ultralytics-512.pt權重,并存放在根目錄下的weight文件夾下，如下圖所示：
4.1 yolov3 spp 項目部分參數(shù)解析
? ? ? ?為了成功啟動項目，首先我們在項目中定位到train.py文件，找到如下代碼所在位置,將nw設置為0，因為博主是在windows下跑項目，所以需要設置為0：
nw = 0 # min([os.cpu_count(), batch_size if batch_size > 1 else 0, 8]) # number of workers windows默認設置為0? ? ? 繼續(xù)在train.py文件的關注以下代碼：
if __name__ == '__main__':parser = argparse.ArgumentParser()parser.add_argument('--epochs', type=int, default=200)parser.add_argument('--batch-size', type=int, default=8)parser.add_argument('--cfg', type=str, default='cfg/my_yolov3.cfg', help="*.cfg path")parser.add_argument('--data', type=str, default='data/my_data.data', help='*.data path')parser.add_argument('--hyp', type=str, default='cfg/hyp.yaml', help='hyperparameters path')parser.add_argument('--multi-scale', type=bool, default=True,help='adjust (67%% - 150%%) img_size every 10 batches')parser.add_argument('--img-size', type=int, default=512, help='test size')parser.add_argument('--rect', action='store_true', help='rectangular training')parser.add_argument('--savebest', type=bool, default=True, help='only save best checkpoint')parser.add_argument('--notest', action='store_true', help='only test final epoch')parser.add_argument('--cache-images', action='store_true', help='cache images for faster training')parser.add_argument('--weights', type=str, default='weights/yolov3-spp-ultralytics-512.pt',help='initial weights path')parser.add_argument('--name', default='', help='renames results.txt to results_name.txt if supplied')parser.add_argument('--device', default='cuda:0', help='device id (i.e. 0 or 0,1 or cpu)')parser.add_argument('--single-cls', action='store_true', help='train as single-class dataset')parser.add_argument('--freeze-layers', type=bool, default=False, help='Freeze non-output layers')parser.add_argument('--seed', type=int, default=42,help='Random seed.')# 是否使用混合精度訓練(需要GPU支持混合精度)parser.add_argument("--amp", default=False, help="Use torch.cuda.amp for mixed precision training")opt = parser.parse_args()# 檢查文件是否存在opt.cfg = check_file(opt.cfg)opt.data = check_file(opt.data)opt.hyp = check_file(opt.hyp)print(opt)with open(opt.hyp) as f:hyp = yaml.load(f, Loader=yaml.FullLoader)print('Start Tensorboard with "tensorboard --logdir=runs", view at http://localhost:6006/')tb_writer = SummaryWriter(comment=opt.name)seed_torch(opt.seed)train(hyp)? ? ? ?特別注意以下幾點：
? ? ? ?1.epoch為項目訓練的次數(shù)，batch_size為批量數(shù)，cfg指定到我們生成的my_yolov3.cfg(自己數(shù)據(jù)集生成的配置文件)路徑，其他的都是類似.
? ? ? ?2.代碼中的–seed是我后來添加進去的，這是為了能夠復現(xiàn)實驗效果而編寫的(注意，即使固定了隨機種子,兩次同樣的實驗也不保證實驗數(shù)據(jù)完全一樣，還有很大因素會影響最終的實驗結果,只能說盡可能減少兩次相同實驗的數(shù)據(jù)誤差)，建議加上，其在seed_torch(opt.seed)中調(diào)用,seed_torch的函數(shù)也申明在train.py中(seed的具體取值可以自定義)，代碼如下所示：
def seed_torch(seed=42):seed = int(seed)random.seed(seed)os.environ['PYTHONHASHSEED'] = str(seed)np.random.seed(seed)torch.manual_seed(seed)torch.cuda.manual_seed(seed)torch.cuda.manual_seed_all(seed)torch.backends.cudnn.deterministic = Truetorch.backends.cudnn.benchmark = Falsetorch.backends.cudnn.enabled = False? ? ? ?3.特別注意到–savebest參數(shù),我這里設置的是true，是因為我的需求只要最好生成的權重文件best.pt；如果想要每一個epoch的權重文件，設置為False即可。
4.2 如何獲取best.pt以及定位到對應的epoch
? ? ? ?訓練完成之后,會生成一個best.pt存放在weight文件夾下,可yolov3 spp 項目本身不會告訴這個best.pt對應于哪一個epoch,因為我的需求是尋找到best.pt所對應epoch的map。我們在train.py文件夾中找到了best.pt即為map(0.5-0.9-all)最大一個所對應的epoch的權重，如下所示：
? ? ? ?仔細的發(fā)現(xiàn)，在訓練完畢之后，會生成存放每一個epoch控制臺輸出的信息在根目錄下的resultxxxx.txt文件中(xxxx中間代表的是數(shù)字，每個人或許都不相同)，我們利用這個文件導入到excel表格中，找到第二列即為map(0.5-0.9-all)的值，這樣再通過excel表格公式就可以計算出這一列最大的值所對應的epoch,從而獲取到對應的map等相關數(shù)據(jù)。
5. 本篇小結
? ? ? ?本篇博客主要分析了從NWPU-VHR-10 dataset格式轉(zhuǎn)換為VOC，再次轉(zhuǎn)換為yolo格式，以及在模型配置、模型參數(shù)解析方法的內(nèi)容，通過仔細一步步的實驗，完成了相關實驗要求。
? ? ? ?之所以比較啰嗦、詳細的寫實驗文章，最重要的是記錄實驗的所思所想。而且對于本人基礎比較差，網(wǎng)上的一些博客跳躍比較大，不太適合我，所以本人就詳細、一步步的記錄和分析實驗的心路歷程，希望能夠讓大家和自己能順心的閱讀。如在復現(xiàn)本文博客中有任何問題，請在評論區(qū)進行交流，這樣大家就會有更多的收獲，博主也會及時的進行交流。最后文末附上本人訓練好的權重文件，供大家以需要時使用。
? ? ? ?本人訓練好的權重文件best.pt(提取密碼:1234)
總結
以上是生活随笔為你收集整理的【目标检测实验系列】使用yolov3 spp训练西工大遥感数据集NWPU VHR-10（包括如何将NWPU VHR-10转为VOC格式和yolov3 spp实验调试的详细步骤，且附上训练完的权重文件）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Docker创始人兼CTO宣布离职；特斯
- 下一篇： 使用 vimdiff 比较文件的技巧