文章：Toronto-3D: A Large-scale Mobile LiDAR Dataset for Semantic Segmentation of Urban Roadways

作者：Weikai Tan1 , Nannan Qin1,2, Lingfei Ma1 , Ying Li1 , Jing Du3 , Guorong Cai3 , Ke Yang4 , Jonathan Li1,4* 1Department of Geography and Environmental Management

代碼：https://github.com/WeikaiTan/Toronto-3D

編譯：點(diǎn)云PCL

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪除。歡迎各位加入免費(fèi)知識(shí)星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈。內(nèi)容如有錯(cuò)誤歡迎評(píng)論留言，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載！

公眾號(hào)致力于分享點(diǎn)云處理，SLAM，三維視覺，高精地圖相關(guān)的文章與技術(shù)，歡迎各位加入我們，一起每交流一起進(jìn)步,有興趣的可聯(lián)系微信：920177957。本文來自點(diǎn)云PCL博主的分享，未經(jīng)作者允許請(qǐng)勿轉(zhuǎn)載，歡迎各位同學(xué)積極分享和交流。

摘要

大規(guī)模室外點(diǎn)云的語義分割對(duì)于城市場(chǎng)景理解具有重要意義，尤其是在自動(dòng)駕駛和城市高精地圖中。隨著移動(dòng)激光掃描（MLS）系統(tǒng)的快速發(fā)展，大量的點(diǎn)云可以用于場(chǎng)景理解，但是對(duì)于開發(fā)基于深度學(xué)習(xí)的方法來說，公開的大規(guī)模標(biāo)記數(shù)據(jù)集仍然是有限的。本文介紹了加拿大多倫多MLS系統(tǒng)獲取的用于語義分割的大型城市室外點(diǎn)云數(shù)據(jù)集Toronto-3D。這個(gè)數(shù)據(jù)集覆蓋了大約1公里的點(diǎn)云，由大約7830萬個(gè)點(diǎn)和8個(gè)標(biāo)記的對(duì)象類組成。實(shí)驗(yàn)結(jié)果表明，該數(shù)據(jù)集能夠有效地訓(xùn)練深度學(xué)習(xí)模型。Toronto-3D發(fā)布是為了鼓勵(lì)新的研究，標(biāo)簽將根據(jù)研究社區(qū)的反饋進(jìn)行改進(jìn)和更新。

主要貢獻(xiàn)

本文介紹了一個(gè)由MLS系統(tǒng)采集的大型城市室外點(diǎn)云數(shù)據(jù)集Toronto-3D。這個(gè)數(shù)據(jù)集覆蓋了1公里的街道，由大約7830萬個(gè)點(diǎn)組成。該數(shù)據(jù)集的一個(gè)樣本如圖1所示。

本文的主要貢獻(xiàn)是：

?提出了一個(gè)大規(guī)模的按點(diǎn)云標(biāo)注的城市室外點(diǎn)云數(shù)據(jù)集用于語義分割，

?研究了一個(gè)用于點(diǎn)云語義分割的集成網(wǎng)絡(luò)，

?對(duì)提出的數(shù)據(jù)集上應(yīng)用最先進(jìn)的深度學(xué)習(xí)語義分割方法進(jìn)行廣泛比較。

圖1.數(shù)據(jù)集的一部分。頂部：具有自然顏色（RGB）的數(shù)據(jù)集。底部：類標(biāo)簽

表1顯示了綜合指標(biāo)與之前的數(shù)據(jù)集的對(duì)比結(jié)果

主要內(nèi)容

Toronto-3D

該數(shù)據(jù)集中的點(diǎn)云是通過車載MLS系統(tǒng)Teledyne Optech Maverick2獲得的。該系統(tǒng)由32線激光雷達(dá)傳感器、ladybug5全景相機(jī)、GNSS系統(tǒng)和同步定位與建圖（SLAM）系統(tǒng)組成。該激光雷達(dá)傳感器可以捕捉點(diǎn)云在高達(dá)700000點(diǎn)每秒在垂直視野覆蓋-10? 至+30? , 精度優(yōu)于3厘米。利用LMS-Pro3軟件對(duì)采集到的點(diǎn)云進(jìn)行進(jìn)一步處理。該數(shù)據(jù)集收集于加拿大多倫多的Avenue Road，覆蓋約1km路段，約7830萬個(gè)點(diǎn)。該數(shù)據(jù)集分為四個(gè)部分，每個(gè)部分覆蓋的范圍約為250米。圖2中示出了每個(gè)部分的近似邊界的概述。

圖2.數(shù)據(jù)集概述。上圖：數(shù)據(jù)集中每個(gè)部分的大致邊界（來自Google地圖的衛(wèi)星圖像）。底部：標(biāo)簽概述（每個(gè)類有不同的顏色）。

與以前的數(shù)據(jù)集類似，定義了對(duì)象類標(biāo)簽具體如下：
?道路（標(biāo)簽1）：鋪砌路面，包括人行道、路緣、停車場(chǎng)
?道路標(biāo)記（標(biāo)簽2）：路面標(biāo)記，包括行駛路線、箭頭、人行橫道
?天然樹木（標(biāo)簽3）：樹木、灌木，不包括草還有裸露的土壤
?建筑物（標(biāo)簽4）：低層和多層的任何部分建筑物、店面
?公用線路（標(biāo)簽5）：電力線、電信
?電線桿（標(biāo)簽6）：電線桿、交通標(biāo)志、燈柱
?汽車（標(biāo)簽7）：在道路上行駛的汽車和停放的汽車側(cè)面和停車場(chǎng)
?圍欄（標(biāo)簽8）：垂直屏障，包括木制建筑工地的圍墻
?未分類（標(biāo)簽0）

在該數(shù)據(jù)集中各個(gè)標(biāo)簽的統(tǒng)計(jì)如表2

使用Toronto-3D的語義分割方法的結(jié)果如表3所示。

KPFCNN和MS TGNet語義分割結(jié)果的直觀比較如圖4所示。

圖4.語義分割結(jié)果的視覺比較

總結(jié)

本文介紹了一個(gè)由MLS系統(tǒng)采集的大型城市室外點(diǎn)云數(shù)據(jù)集Toronto-3D。數(shù)據(jù)集覆蓋了加拿大多倫多約1公里的道路，超過7800萬個(gè)點(diǎn)。所有點(diǎn)云數(shù)據(jù)都保留在數(shù)據(jù)收集范圍內(nèi)，以類似于實(shí)際應(yīng)用場(chǎng)景。該數(shù)據(jù)集被手動(dòng)標(biāo)記為8個(gè)類別，包括道路、道路標(biāo)記、自然樹木、建筑、公用線路、電線桿、汽車和圍欄。五個(gè)最先進(jìn)的端到端點(diǎn)云語義分割算法和一個(gè)名為MS-TGNet的網(wǎng)絡(luò)被測(cè)試為這個(gè)數(shù)據(jù)集的基準(zhǔn)。所提出的MS-TGNet能夠產(chǎn)生與最新方法相比較的性能，在新的數(shù)據(jù)集中實(shí)現(xiàn)最高的mIoU（60.96%）和有競(jìng)爭(zhēng)力的OA（91.69%）。Toronto-3D數(shù)據(jù)集提供了新的類標(biāo)簽，包括道路標(biāo)線、公用事業(yè)線和圍欄，所有測(cè)試過的語義分割方法都需要改進(jìn)道路標(biāo)線和圍欄。展示這個(gè)新的點(diǎn)云數(shù)據(jù)集的目的是鼓勵(lì)開發(fā)創(chuàng)造性的深度學(xué)習(xí)模型。這個(gè)新數(shù)據(jù)集的標(biāo)簽將根據(jù)研究界的反饋加以改進(jìn)和更新。

?

資源

三維點(diǎn)云論文及相關(guān)應(yīng)用分享

【點(diǎn)云論文速讀】基于激光雷達(dá)的里程計(jì)及3D點(diǎn)云地圖中的定位方法

3D目標(biāo)檢測(cè)：MV3D-Net

三維點(diǎn)云分割綜述（上）

3D-MiniNet: 從點(diǎn)云中學(xué)習(xí)2D表示以實(shí)現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實(shí)現(xiàn)點(diǎn)云可視化GUI

JSNet：3D點(diǎn)云的聯(lián)合實(shí)例和語義分割

大場(chǎng)景三維點(diǎn)云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點(diǎn)云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云標(biāo)記

點(diǎn)云的超體素(SuperVoxel)

基于超點(diǎn)圖的大規(guī)模點(diǎn)云分割

更多文章可查看：點(diǎn)云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動(dòng)泊車系統(tǒng)中的語義SLAM

【點(diǎn)云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評(píng)價(jià)

SLAM綜述(4)激光與視覺融合SLAM

Kimera實(shí)時(shí)重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機(jī)的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場(chǎng)景中的應(yīng)用

第三期B站錄播之CMake進(jìn)階學(xué)習(xí)

第四期B站錄播之點(diǎn)云物體及六自由度姿態(tài)估計(jì)

第五期B站錄播之點(diǎn)云深度學(xué)習(xí)語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點(diǎn)云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開發(fā)

[線上分享錄播]基于點(diǎn)云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺分享

[線上分享錄播]地面點(diǎn)云配準(zhǔn)與機(jī)載點(diǎn)云航帶平差

如果你對(duì)本文感興趣，請(qǐng)后臺(tái)發(fā)送“知識(shí)星球”獲取二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識(shí)星球，免費(fèi)下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯(cuò)誤請(qǐng)留言評(píng)論，歡迎指正交流。如有侵權(quán)，請(qǐng)聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費(fèi)星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點(diǎn)云，高精地圖，自動(dòng)駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號(hào)展開合作。

點(diǎn)一下“在看”你會(huì)更好看耶

總結(jié)

以上是生活随笔為你收集整理的Toronto-3D：用于城市道路语义分割的大规模移动激光雷达数据集的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。