【数据集】自动驾驶都有什么测试基准？
文章首發(fā)于微信公眾號(hào)《有三AI》
【數(shù)據(jù)集】自動(dòng)駕駛都有什么測(cè)試基準(zhǔn)？
自動(dòng)駕駛是現(xiàn)在非?；钴S的領(lǐng)域，幾乎所有的車廠，大型互聯(lián)網(wǎng)公司都參與其中，其中計(jì)算機(jī)視覺技術(shù)的應(yīng)用也非常廣泛，這篇文章將對(duì)自動(dòng)駕駛中的重要數(shù)據(jù)集做簡(jiǎn)單介紹。
?
01?KITTI數(shù)據(jù)集
數(shù)據(jù)集地址：http://www.cvlibs.net/datasets/kitti/index.php
發(fā)布于2009年，KITTI數(shù)據(jù)集是由德國(guó)卡爾斯魯厄理工學(xué)院和芝加哥豐田技術(shù)學(xué)院聯(lián)合創(chuàng)辦的項(xiàng)目。
該數(shù)據(jù)集中的數(shù)據(jù)主要是在德國(guó)的卡爾斯魯厄周邊的農(nóng)村和高速公路拍攝而成，每張圖象最多顯示15輛汽車和30名行人，各自有各種程度的遮擋。數(shù)據(jù)集是在裝有激光雷達(dá)的車輛上以10Hz的頻率采樣進(jìn)行采集，最終包含389對(duì)立體圖像和光流圖，39.2km視覺測(cè)距序列，200k以上的3D標(biāo)注物體的圖像，涵蓋了市區(qū)、鄉(xiāng)村和高速公路等場(chǎng)景，包括圖片、視頻、雷達(dá)數(shù)據(jù)等數(shù)據(jù)類型。
數(shù)據(jù)集的語義標(biāo)簽包括：
‘Road’，‘City’，‘Person’，‘Campus’和‘Residential’五大類。
KITTY數(shù)據(jù)集可以用于評(píng)測(cè)各種任務(wù)，包括立體圖像(stereo)，光流(optical flow)，視覺測(cè)距(visual odometry)，深度估計(jì)(depth prediction)，3D物體檢測(cè)(object detection)，3D跟蹤(tracking)，路面以及車道線檢測(cè)等。
參考論文鏈接：http://www.webmail.cvlibs.net/publications/Geiger2012CVPR.pdf
?
02?Oxford RobotCar數(shù)據(jù)集
數(shù)據(jù)集地址：https://www.cityscapes-dataset.com/
發(fā)布于2014年，是在牛津大學(xué)校園內(nèi)路測(cè)，總長(zhǎng)度1010.64公里，歷時(shí)一年半所采集的數(shù)據(jù)集。在各種天氣條件下進(jìn)行收集，包括大雨，夜間，陽光直射和積雪，也包含施工路段行駛場(chǎng)景，具有非常復(fù)雜的天氣場(chǎng)景，尤其適合評(píng)測(cè)計(jì)算機(jī)視覺算法。
下圖是數(shù)據(jù)采集時(shí)所走的路線圖。
下圖是在不同天氣、光線情況和交通狀況下的數(shù)據(jù)集中的示例圖。
參考論文鏈接：http://robotcar-dataset.robots.ox.ac.uk/images/robotcar_ijrr.pdf?
?
03?Cityscape數(shù)據(jù)集
數(shù)據(jù)集地址：
https://www.cityscapes-dataset.com/Cityscapes
發(fā)布于2016年，這是由奔馳采集的面向城市道路街景語義理解的數(shù)據(jù)集。Cityscapes包含50個(gè)城市在春夏秋三個(gè)季節(jié)不同時(shí)間段不同場(chǎng)景、背景的街景圖，提供5000張精細(xì)標(biāo)注的圖像、20000張粗略標(biāo)注的圖像、30類標(biāo)注物體。用PASCAL VOC標(biāo)準(zhǔn)的 intersection-over-union(IoU)得分來對(duì)算法性能進(jìn)行評(píng)價(jià)。
參考論文鏈接： https://arxiv.org/pdf/1604.01685.pdf?
?
04?Common.ai數(shù)據(jù)集
數(shù)據(jù)集地址：https://github.com/commaai/research
發(fā)布于2016年，這是一段高速公路的視頻數(shù)據(jù)集，包括10個(gè)可變大小的視頻片段，以20Hz的頻率記錄。數(shù)據(jù)除了圖像之外，還記錄了一些測(cè)量值，如汽車速度，加速度，轉(zhuǎn)向角，GPS坐標(biāo)，陀螺儀角度。
參考論文鏈接：https://arxiv.org/pdf/1608.01230.pdf
?
05?Udacity數(shù)據(jù)集
數(shù)據(jù)集地址：https://github.com/udacity/self-driving-car/tree/master/datasets
發(fā)布于2016年，Udacity是Google開設(shè)的線上教育平臺(tái)，其中有自動(dòng)駕駛相關(guān)線上培訓(xùn)，它也為其自動(dòng)駕駛算法比賽專門準(zhǔn)備了數(shù)據(jù)集。這個(gè)數(shù)據(jù)集包括在加利福尼亞和鄰近城市在白天條件下行駛拍攝的圖像，為1920×1200分辨率的9423幀圖像，包含超過65000個(gè)標(biāo)簽。數(shù)據(jù)集是由CuldAd使用機(jī)器學(xué)習(xí)算法和研究員共同進(jìn)行標(biāo)注。
除了車輛拍攝的圖像以外，還包括車輛本身的屬性和參數(shù)信息，例如經(jīng)緯度、制動(dòng)器、油門、轉(zhuǎn)向度、轉(zhuǎn)速。
?
06?BDD100K數(shù)據(jù)集
數(shù)據(jù)集地址：http://bdd-data.berkeley.edu/#video
發(fā)布于2018年，這是目前來說最大規(guī)模也是最多樣化的駕駛視頻數(shù)據(jù)集，這些數(shù)據(jù)具有四個(gè)主要特征：大規(guī)模，多樣化，在真實(shí)的街道采集，并帶有時(shí)間信息。
該數(shù)據(jù)集有累計(jì)超過1100小時(shí)駕駛體驗(yàn)的100000個(gè)高清視頻序列。每個(gè)視頻大約40秒長(zhǎng)、分辨率為720p、幀率為30fps，還附有手機(jī)記錄的GPS/IMU信息，以顯示大概的駕駛軌跡。數(shù)據(jù)庫(kù)涵蓋了不同的天氣條件，包括晴天、陰天和雨天，以及白天和晚上的不同時(shí)間。
BAIR研究者在每個(gè)視頻的第10秒采樣關(guān)鍵幀，并為這些關(guān)鍵幀提供注釋。它們被標(biāo)記為幾個(gè)級(jí)別：圖像標(biāo)記、道路對(duì)象邊界框、可駕駛區(qū)域、車道標(biāo)記線和全幀實(shí)例分割，具體來說如下。
邊界框標(biāo)注，為經(jīng)常出現(xiàn)在道路上的所有10萬個(gè)關(guān)鍵幀上的對(duì)象標(biāo)上對(duì)象邊界框，以了解對(duì)象的分布及其位置。另外它包含比同類數(shù)據(jù)集更多的行人實(shí)例。
車道標(biāo)注，車道線是人類駕駛員重要的道路指示，當(dāng)GPS或地圖沒有精準(zhǔn)地全球覆蓋時(shí)，它們也是自動(dòng)駕駛系統(tǒng)駕駛方向和定位的關(guān)鍵線索。車道的標(biāo)記分為兩種類型，垂直車道標(biāo)記和平行車道標(biāo)記。垂直車道標(biāo)記表示沿著車道行駛方向的標(biāo)記，平行車道標(biāo)記表示車道上的車輛需要停車的標(biāo)志。另外還提供了若干標(biāo)記的屬性，例如實(shí)線與虛線以及雙層與單層。
下圖是數(shù)據(jù)集中的部分圖像。
下圖展示了數(shù)據(jù)收集在一個(gè)城市分布的密集程度。
參考論文鏈接：http://openaccess.thecvf.com/content_cvpr_2017/papers/Xu_End-To-End_Learning_of_CVPR_2017_paper.pdf
?
07?CVPR Workshop
這是CVPR近幾年舉辦的自動(dòng)駕駛的workshop，由于深度學(xué)習(xí)的興起，計(jì)算機(jī)視覺等技術(shù)被用于自動(dòng)駕駛的目標(biāo)檢測(cè)，語義分割等領(lǐng)域，因此CVPR也開設(shè)了若干相關(guān)的workshop。具體的單元包括可行駛區(qū)域檢測(cè)，路面的模板檢測(cè)，跨域的語義分割，以及移動(dòng)目標(biāo)的實(shí)例級(jí)別的分割。
?
08?GTA數(shù)據(jù)集
數(shù)據(jù)集地址：http://www.rockstargames.com/grandtheftauto/
英特爾的GTA的AI和這個(gè)虛擬世界給予了訓(xùn)練自動(dòng)駕駛的可行性，一款賽車游戲《Grand Theft Auto 5》也被用來訓(xùn)練自動(dòng)駕駛的模型，而且是一個(gè)相對(duì)廉價(jià)且適合初級(jí)人工智能探索的自動(dòng)駕駛試驗(yàn)場(chǎng)。GTA是以語義分割為主，基于虛擬的游戲環(huán)境，但接近真實(shí)世界，其中幾乎涵蓋了各種各樣的道路狀況，包括山區(qū)、郊區(qū)和城市。還有各種各樣的車輛，比如警車、救護(hù)車、出租車、貨車等車型。
?
09?TORCS數(shù)據(jù)集
數(shù)據(jù)集地址： http://torcs.sourceforge.net/
TORCS是一種高度便攜的多平臺(tái)賽車模擬，被用作普通的賽車游戲，可以作為AI賽車游戲和研究平臺(tái)。
?
10?nuScenes數(shù)據(jù)集
數(shù)據(jù)集地址：
https://d3u7q4379vrm7e.cloudfront.net/download
發(fā)布于2018年，是由NuTonomy編輯的，并將于2019年推出最全的nuScenes數(shù)據(jù)集。采集了1000多個(gè)場(chǎng)景，其中包含140萬幅圖像、40萬次激光雷達(dá)掃描（判斷物體之間距離）和110萬個(gè)三維邊界框（用RGB相機(jī)、雷達(dá)和激光雷達(dá)組合檢測(cè)的物體）。此次數(shù)據(jù)的搜集使用了6個(gè)攝像頭、1個(gè)激光雷達(dá)、 5個(gè)毫米波雷達(dá)、GPS及慣導(dǎo)系統(tǒng)，包括了對(duì)于自動(dòng)駕駛系統(tǒng)來說非常具有挑戰(zhàn)性的復(fù)雜道路、天氣條件等情況。
?
11?百度ApolloScape數(shù)據(jù)集
數(shù)據(jù)集地址：http://apolloscape.auto/scene.html
發(fā)布于2018年，是由百度Apollo提供的數(shù)據(jù)集。數(shù)據(jù)集中提供的圖像分辨率為3384×2710，定義了共26個(gè)不同語義項(xiàng)的數(shù)據(jù)實(shí)例（例如汽車、自行車、行人、建筑、路燈等），而且將進(jìn)一步涵蓋更復(fù)雜的環(huán)境、天氣和交通狀況等。預(yù)計(jì)2018年數(shù)據(jù)集將完整發(fā)布包含20萬幀的圖像數(shù)據(jù)，包含對(duì)應(yīng)的像素級(jí)標(biāo)注和姿態(tài)信息。整個(gè)數(shù)據(jù)集將包含逐像素標(biāo)注的高分辨率圖像序列，以及場(chǎng)景語義分割級(jí)別的稠密3D Point的RGB視頻。
更多請(qǐng)移步知乎《有三AI學(xué)院》與公眾號(hào)《有三AI》
注：部分圖片來自網(wǎng)絡(luò)
—END—
感謝各位看官的耐心閱讀，不足之處希望多多指教。后續(xù)內(nèi)容將會(huì)不定期奉上，歡迎大家關(guān)注有三公眾號(hào) 有三AI！
?
?
?
?
總結(jié)
以上是生活随笔為你收集整理的【数据集】自动驾驶都有什么测试基准？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【技术综述】一文道尽R-CNN系列目标检
- 下一篇： 【数据集】一文道尽医学图像数据集与竞赛