點云PCL免費知識星球，點云論文速讀。

文章：Monocular Object and Plane SLAM in Structured Environments

作者：Shichao Yang, Sebastian Scherer

翻譯：particle

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈分享快樂。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關(guān)的文章。公眾號致力于理解三維視覺領(lǐng)域相關(guān)內(nèi)容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯(lián)系微信dianyunpcl@163.com。

●論文摘要

本文提出了一種基于高層次目標(biāo)物體和平面關(guān)鍵特征的單目的SLAM算法。與基于特征點的SLAM相比，所構(gòu)建的地圖更密集、更具體、更有語義信息的地圖。文章首先提出一個高層次的圖形模型，在考慮遮擋和語義約束的情況下，從單個圖像中聯(lián)合推斷三維物體和結(jié)構(gòu)平面。在統(tǒng)一的SLAM框架下，利用攝像機姿態(tài)對獲取的目標(biāo)物體和平面進行進一步優(yōu)化。與點特征相比，目標(biāo)物體和平面可以提供更多的語義約束。在ICL-NUIM和TUM-Mono等不同的公共數(shù)據(jù)集和采集數(shù)據(jù)集上的實驗表明，與最先進的SLAM算法相比，我們的算法可以提高攝像機定位精度，尤其是在沒有環(huán)路閉合的情況下，該算法還能在許多結(jié)構(gòu)化環(huán)境下穩(wěn)健地生成稠密的地圖。

使用單目相機重建關(guān)鍵點、物體（綠色框）、平面（紅色矩形）的稠密SLAM貼圖的示例結(jié)果。（頂部）ICL客廳數(shù)據(jù)集。（底部）收集的長廊數(shù)據(jù)集。

●?相關(guān)工作與介紹

在這項工作中，提出一個基于單目目標(biāo)物體和平面的SLAM系統(tǒng)，沒有先驗的對象物體和房間形狀模型。主要分為兩個步驟。理解三維結(jié)構(gòu)是第一步是，基于圖像的幾何特征和語義特征生成并優(yōu)化結(jié)構(gòu)平面和物體對象。第二步是多視圖SLAM優(yōu)化。在一個統(tǒng)一的捆集調(diào)整（BA）框架中，通過攝像機姿態(tài)和點特征進一步優(yōu)化平面和物體。對象和平面提供了額外的語義和幾何約束，以改進攝像機的姿態(tài)估計，優(yōu)化并生成密集的三維地圖。另一方面，精確的SLAM姿態(tài)估計提高了單圖像的3D檢測。綜上所述，我們的貢獻如下：

?一個高層次圖形幾何模型，具有高效的推理能力，可用于單圖像三維結(jié)構(gòu)理解。

?首個單目目標(biāo)和平面SLAM，在SLAM方面均優(yōu)于最先進的算法。

● 內(nèi)容精華

單幀圖像理解

將環(huán)境表示為一組長方體對象和結(jié)構(gòu)化平面（如墻和地板）。目標(biāo)是同時從二維圖像推斷出它們的三維位置。我們首先生成若干目標(biāo)物體和假設(shè)平面，然后通過條件隨機場（CRF）優(yōu)化選擇其中的最佳子集，如圖所示

單圖像三維物體和結(jié)構(gòu)平面檢測概述。首先生成許多高質(zhì)量的對象和結(jié)構(gòu)化平面，然后根據(jù)語義分割、交叉、遮擋等信息建立圖形幾何模型來選擇最優(yōu)子集。

為了表示平面，CNNs可以直接預(yù)測三維平面位置，但由于預(yù)測的布局可能與實際平面邊界不完全匹配，可能會丟失一些細節(jié)。因此，測量不確定度大，不適合作為SLAM觀測值。所以這里直接檢測和選擇更可靠和可重復(fù)性更好的地面與墻交界線段。

SLAM優(yōu)化

利用單幅圖像檢測中選取的目標(biāo)物和平面作為SLAM觀測值，并通過多視點BA對攝像機姿態(tài)進行優(yōu)化。并在SLAM過程中包含點特征，因為在環(huán)境中通常只有幾個對象和平面，它們不能完全約束攝影機的姿勢。

SLAM中的觀測值。（a） 相機平面觀測。將檢測到的地面邊緣反投影到三維空間，與地標(biāo)平面進行比較。（b） 相機對象物體觀測。將三維長方體地標(biāo)投影到圖像上，并與檢測到的二維盒體進行比較。（c） 物體與平面測量誤差取決于被平面遮擋的物體體積。

● 實驗

對于目標(biāo)檢測，使用了與Object SLAM【1】類似的算法。Yolo檢測器用于二維目標(biāo)檢測。對于平面檢測，我們首先使用【2】檢測線段并將其合并到長邊上。Segnet【3】用于二維語義分割。然后我們過濾掉長度小于50像素且距離墻-地分割邊界50像素以上的線。在視頻情況下，單幅圖像的三維檢測采用SLAM姿態(tài)估計。對于SLAM部分，系統(tǒng)是建立在基于特征點的ORB SLAM之上的，通過對象和平面進行擴展。

單圖像原始物體和面檢測和CRF優(yōu)化。

（a） 原始平面和預(yù)測的對象。（為了簡潔起見，只繪制了一個長方體方案）

（b）原始方案的俯視圖。紅色矩形表示地面真實物體，藍色表示估計值。檢測的墻線是青色的。

（c） CRF選定檢測到物體的俯視圖。優(yōu)化后的物體姿態(tài)更精確。平面和對象的相交和遮擋也會減少

（頂部）ICLNUIM辦公室2和房間數(shù)據(jù)。（中）YUM-mono 36。（下）采集的長廊。紅色矩形為平面邊界，綠色長方體為對象。藍色曲線是估計的攝像機軌跡。

●總結(jié)

在這項工作中，我們提出了第一個單目SLAM和稠密SLAM算法，根據(jù)實驗結(jié)果表明，語義場景理解和傳統(tǒng)的SLAM優(yōu)化方法可以互相促進。對于單幅圖像，我們提出了一種快速的三維物體和結(jié)構(gòu)化平面的聯(lián)合理解方法。通過二維目標(biāo)檢測和邊緣檢測生成長方體和平面方案。然后提出一種高效的稀疏高階CRF推理來選擇最優(yōu)方案。在SLAM部分，針對平面和物體設(shè)計了幾種新的測量函數(shù)。與點相比，物體和平面可以提供遠距離的幾何和語義約束，如交集和支撐關(guān)系，以提高姿態(tài)估計。為了提高魯棒性，提出了嚴(yán)格的外點剔除、魯棒數(shù)據(jù)關(guān)聯(lián)和優(yōu)化方法。我們評估了SLAM算法在各種公共室內(nèi)數(shù)據(jù)集（包括房間和走廊）中的性能。與現(xiàn)有的方法相比，我們的方法可以在大多數(shù)環(huán)境下改進攝像機的姿態(tài)估計和稠密地圖。未來，除了墻平面外，還需要考慮更多的通用平面，以生成更密集、更完整的地圖。動態(tài)對象和對象表面映射也可以用來提高魯棒性和地圖質(zhì)量。

參考文獻

【1】Shichao Yang and Sebastian Scherer. CubeSLAM: Monocular 3D object SLAM. IEEE Transactions on Robotics, 2019

【2】Rafael Grompone von Gioi, Jeremie Jakubowicz, Jean-Michel Morel, and Gregory Randall. LSD: A fast line segment detector with a false detection control. IEEE Transactions on Pattern Analysis & Machine Intelligence, (4):722–732, 2008.

【3】Vijay Badrinarayanan, Alex Kendall, and Roberto Cipolla. SegNet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE transactions on pattern analysis and machine intelligence, 39(12):2481–2495, 2017

資源

三維點云論文及相關(guān)應(yīng)用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標(biāo)檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學(xué)習(xí)2D表示以實現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現(xiàn)點云可視化GUI

JSNet：3D點云的聯(lián)合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點云的顯示

基于局部凹凸性進行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點云標(biāo)記

點云的超體素(SuperVoxel)

基于超點圖的大規(guī)模點云分割

更多文章可查看：點云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場景中的應(yīng)用

第三期B站錄播之CMake進階學(xué)習(xí)

第四期B站錄播之點云物體及六自由度姿態(tài)估計

第五期B站錄播之點云深度學(xué)習(xí)語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開發(fā)

[線上分享錄播]基于點云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術(shù)及機器人視覺分享

[線上分享錄播]地面點云配準(zhǔn)與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應(yīng)屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關(guān)開源方案的演示：

如果你對本文感興趣，點擊“原文閱讀”獲取知識星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費知識星球，星球可自由發(fā)言交流和分享。也可免費下載公眾號分享的論文pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

歡迎各位轉(zhuǎn)發(fā)分享朋友圈，將公眾號設(shè)置為星標(biāo)，或點擊“在看”以示鼓勵和支持，讓我們繼續(xù)分享！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關(guān)的領(lǐng)域。

分享及合作方式：聯(lián)系微信“920177957”（需要按要求備注）聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。

點一下“在看”你會更好看耶

總結(jié)

以上是生活随笔為你收集整理的在结构化场景中基于单目的物体与平面SLAM方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。