點(diǎn)云PCL免費(fèi)知識(shí)星球，點(diǎn)云論文速讀。

文章：RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds

作者：Qingyong Hu1, Bo Yang1, Linhai Xie1, Stefano Rosa1, Yulan Guo

翻譯：北理工蘇同學(xué)

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪除。歡迎各位加入免費(fèi)知識(shí)星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈分享快樂。

論文閱讀模塊將分享點(diǎn)云處理，SLAM，三維視覺，高精地圖相關(guān)的文章。公眾號(hào)致力于理解三維視覺領(lǐng)域相關(guān)內(nèi)容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯(lián)系微信dianyunpcl@163.com。

●論文摘要

文章解決大場(chǎng)景下的高效率點(diǎn)云語(yǔ)義分割，因?yàn)橐蕾囉诎嘿F的采樣方法和復(fù)雜的預(yù)/后處理步驟，現(xiàn)存的方法只能操作小尺度的點(diǎn)云。我們提出的RandLA-net，是一個(gè)輕量級(jí)的對(duì)大尺度點(diǎn)云的高效分割網(wǎng)絡(luò)。我們采用了隨機(jī)采樣而不是更復(fù)雜的采樣策略，但是隨機(jī)采樣可能會(huì)丟失一些關(guān)鍵特征，為了解決這個(gè)問(wèn)題，引入了一個(gè)全新的局部特征聚合模塊來(lái)漸進(jìn)地增加每一個(gè)點(diǎn)的感受野，因此保存了幾何細(xì)節(jié)。實(shí)驗(yàn)證明我們的方法比現(xiàn)存方法快200x，在Semantic3d以及SemanticKITTI數(shù)據(jù)集上超越了SOTA的方法。

●?Introduction

在Pointnet使用share MLPS對(duì)點(diǎn)云進(jìn)行處理，但是其無(wú)法獲得更廣泛的上下文信息（只有全局信息，而沒有局部信息），為了學(xué)習(xí)更豐富的局部結(jié)構(gòu)，許多專用的模塊被提出

• neighboring feature pooling

• graph message passing

• kernel-based convolution

• attention-based aggregation

這些方法其中的大多數(shù)只能針對(duì)非常小的點(diǎn)云(e.g., 4k points or 11 meter
blocks)，如果不使用block partition等預(yù)處理操作，不能應(yīng)用于大場(chǎng)景的點(diǎn)云（200*200m）。這個(gè)限制的原因主要有三點(diǎn)：

• 采樣方法太復(fù)雜

• 大多數(shù)現(xiàn)有的局部特征學(xué)習(xí)模塊依賴于核或者圖結(jié)構(gòu)，這些是很花費(fèi)計(jì)算資源的

• 大尺度的場(chǎng)景有上百個(gè)物體，因?yàn)楦惺芤?#xff08;receptive fields）的限制，現(xiàn)存的方案要么不能捕獲復(fù)雜的結(jié)構(gòu)要么計(jì)算效率低下。

也有一些工作直接處理大規(guī)模點(diǎn)云，SPG現(xiàn)將點(diǎn)云處理為超圖（super point）然后再應(yīng)用于神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)每一個(gè)超點(diǎn)的語(yǔ)義標(biāo)簽；FCPN和PCT聯(lián)合voxellization和point-leavel的網(wǎng)絡(luò)去處理龐大的點(diǎn)云。因?yàn)樗麄兊念A(yù)處理或者后處理太復(fù)雜，很難在實(shí)時(shí)設(shè)備上部署。

在這篇文章中，作者提出直接處理大尺度點(diǎn)云的方案，不需要預(yù)處理/后處理，使用的隨機(jī)采樣,RS，為了解決隨機(jī)采樣的特征丟失問(wèn)題，引入了局部特征聚合模塊，LFA，通過(guò)逐漸地在每個(gè)神經(jīng)層擴(kuò)大感受野，以捕獲越來(lái)越小的點(diǎn)集上的復(fù)雜局部結(jié)構(gòu)。

●RandLA-Net

In our RandLA-Net, we propose to use the simple and fast approach of random sampling to greatly decrease point density, whilst applying a carefully designed local feature aggregator to retain prominent features.

The quest for efficient sampling

現(xiàn)存的采樣方法主要有Heuristic Sampling

* Farthest Point Sampling (FPS)

* Inverse Density Importance Sampling (IDIS)

* Random Sampling (RS)

Learning-based Sampling

* Generator-based Sampling (GS)

* Continuous Relaxation based Sampling (CRS)

* Policy Gradient based Sampling (PGS)

作者比較了以上的6種方法，發(fā)現(xiàn):

FPS, IDIS and GS are too computationally expensive to be applied for large-scale point clouds,CRS approaches have an excessive memory footprint and PGS is hard to learn.

相比之下，RS具有以下優(yōu)點(diǎn)：

1、它非常高效，因?yàn)樗c輸入點(diǎn)的總數(shù)無(wú)關(guān)。

2、它不需要額外的內(nèi)存來(lái)進(jìn)行計(jì)算。

因此選擇RS作為采樣模塊，但是RS會(huì)丟失一些點(diǎn)特征，為了解決這個(gè)問(wèn)題，提出LFA

Local Feature Aggregation

主要包括三部分

local spatial encoding (LocSE)

attentive pooling

Dilated Residual Block

Implementation

堆疊多個(gè)LFA和random sampling模塊；使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.01，每一個(gè)epoch減少5%;最近鄰點(diǎn)數(shù)量K設(shè)置為16；為了并行訓(xùn)練，將點(diǎn)云采樣到固定點(diǎn)數(shù)(10^5)對(duì)每一個(gè)點(diǎn)云作為其輸入，整個(gè)過(guò)程不需要預(yù)處理/后處理等操作。

網(wǎng)絡(luò)結(jié)構(gòu)如下：

多說(shuō)一點(diǎn)，根據(jù)這個(gè)圖可以看到，個(gè)人感覺這個(gè)網(wǎng)絡(luò)和PointNet2的結(jié)構(gòu)非常相似，

PointNet2為了解決PointNet的缺失local feature的問(wèn)題，提出了一個(gè)sampling,grouping的方法，通過(guò)對(duì)點(diǎn)云進(jìn)行fps采樣，在其鄰域內(nèi)對(duì)一個(gè)小的點(diǎn)集合進(jìn)行PointNet特征提取，將采樣點(diǎn)的鄰域內(nèi)的特征整合到采樣點(diǎn)上。最后再通過(guò)skip link concatenation和插值方法（類似于cnn的1*1卷積）實(shí)現(xiàn)一個(gè)類似于上采樣的操作；

在RandLA-net中，使用的是RS采樣，然后對(duì)采樣后的點(diǎn)的鄰域點(diǎn)進(jìn)行特征聚合，這是特征提取。特征提取完后，再進(jìn)行特征反向傳播來(lái)提高點(diǎn)的數(shù)量，并且通過(guò)share MLPs來(lái)降低特征的維度，最后再通過(guò)FC和Drop來(lái)獲取每一個(gè)點(diǎn)的label

●Experiments

Efficiency of Random Sampling

Efficiency of RandLANet

得益于random sampling 和基于MLP的LFA策略，RandLA-net能實(shí)現(xiàn)185s-4071frames粗略計(jì)算=22FPS

Semantic Segmentation on Benchmarks

(1) Evaluation on Semantic3D

(2) Evaluation on SemanticKITTI.

(3) Evaluation on S3DIS.

相對(duì)于其他的方法（復(fù)雜且昂貴的采樣，或分割點(diǎn)云為小的blocks），RandLA-net將整個(gè)房間作為輸入并且能夠直接（單階段）高效推理每一個(gè)點(diǎn)的label。

●總結(jié)

對(duì)于大尺度的語(yǔ)義分割，提出了輕量級(jí)的的網(wǎng)絡(luò)。采取了random sampling 而不是復(fù)雜的采樣方案，并使用了一個(gè)LFA，local feature aggregation模塊以從一個(gè)廣闊的鄰域中有效地保留有用的特征。我們的工作可以拓展到大尺度的實(shí)例分割以及實(shí)時(shí)動(dòng)態(tài)點(diǎn)云處理

資源

三維點(diǎn)云論文及相關(guān)應(yīng)用分享

【點(diǎn)云論文速讀】基于激光雷達(dá)的里程計(jì)及3D點(diǎn)云地圖中的定位方法

3D目標(biāo)檢測(cè)：MV3D-Net

三維點(diǎn)云分割綜述（上）

3D-MiniNet: 從點(diǎn)云中學(xué)習(xí)2D表示以實(shí)現(xiàn)快速有效的3D LIDAR語(yǔ)義分割（2020）

win下使用QT添加VTK插件實(shí)現(xiàn)點(diǎn)云可視化GUI

JSNet：3D點(diǎn)云的聯(lián)合實(shí)例和語(yǔ)義分割

大場(chǎng)景三維點(diǎn)云的語(yǔ)義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點(diǎn)云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云標(biāo)記

點(diǎn)云的超體素(SuperVoxel)

基于超點(diǎn)圖的大規(guī)模點(diǎn)云分割

更多文章可查看：點(diǎn)云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動(dòng)泊車系統(tǒng)中的語(yǔ)義SLAM

【點(diǎn)云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評(píng)價(jià)

SLAM綜述(4)激光與視覺融合SLAM

Kimera實(shí)時(shí)重建的語(yǔ)義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機(jī)的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場(chǎng)景中的應(yīng)用

第三期B站錄播之CMake進(jìn)階學(xué)習(xí)

第四期B站錄播之點(diǎn)云物體及六自由度姿態(tài)估計(jì)

第五期B站錄播之點(diǎn)云深度學(xué)習(xí)語(yǔ)義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點(diǎn)云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開發(fā)

[線上分享錄播]基于點(diǎn)云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺分享

[線上分享錄播]地面點(diǎn)云配準(zhǔn)與機(jī)載點(diǎn)云航帶平差

點(diǎn)云PCL更多活動(dòng)請(qǐng)查看：點(diǎn)云PCL活動(dòng)之應(yīng)屆生校招群

掃描下方微信視頻號(hào)二維碼可查看最新研究成果及相關(guān)開源方案的演示：

如果你對(duì)本文感興趣，請(qǐng)點(diǎn)擊“原文閱讀”獲取知識(shí)星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識(shí)星球，免費(fèi)下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯(cuò)誤請(qǐng)留言評(píng)論，歡迎指正交流。如有侵權(quán)，請(qǐng)聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費(fèi)星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點(diǎn)云，高精地圖，自動(dòng)駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作方式：群主微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來(lái)聯(lián)系公眾號(hào)展開合作。

點(diǎn)一下“在看”你會(huì)更好看耶

總結(jié)

以上是生活随笔為你收集整理的【论文速读】RandLA-Net大规模点云的高效语义分割的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。