點云PCL免費知識星球，點云論文速讀。

文章：A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using LiDAR Descriptors

作者：Jiawei Mo and Junaed Sattar

翻譯：particle

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈分享快樂。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com。

●論文摘要

位置識別是同步定位與構建地圖（SLAM）算法的核心組成部分。特別是在視覺SLAM系統中，通過計算代表不同位置的圖像之間的外觀相似性來識別先前訪問過的位置。然而，這種方法對視覺信息的變化很敏感，而且計算成本也很高。在這篇論文中，我們提出了一種新的方法，將激光雷達描述子應用于立體視覺里程計所獲得的三維點，以進行位置識別。對于環境變化（例如，可變照明），3D點云可能比2D視覺特征（如2D特征）更可靠，這可能有利于長距離的場景中的視覺SLAM系統。立體視覺里程計生成具有絕對比例的三維點，這使得我們能夠使用激光雷達描述符進行高效率的地點識別。通過對標準數據集的廣泛評估，我們證明了使用三維點進行位置識別的準確性、效率和魯棒性。

其實就是使用激光雷達獲取的點云計算全局的點云描述子，并記錄成個一個數據集，而使用雙目視覺三角化生成點云作為輸入將這些三角化出來的三角點計算三種描述子，不斷的與數據集進行檢索和對比，最終匹配上的則是回環檢測成功。

代碼開源：

https://github.com/IRVLab/so_dso_place_recognition

●?相關工作與介紹

在GPS信號接收弱或者不可用的情況下，基于視覺的SLAM就顯得十分重要，視覺VO被用來建立局部地圖和估計自我運動來輔助機器人進行導航，然而在這個過程中無法避免的存在累計誤差，導致里程計估計偏離正確的路徑，此時就需要有回環檢測來識別曾經訪問過的地方，將此約束引入到系統中，以獲得全局一致的地圖和軌跡，因此基于位置識別的回環檢測可以提高視覺VO的穩定性。

? 來自RobotCar數據集的不同季節的圖像。注意外觀上的顯著變化。

傳統的基于視覺系統的位置識別方法通常依賴于二維圖像。每個位置都由在該地方獲取的圖像來表示。為了確定兩個位置是同一個位置的可能性，需要評估它們對應圖像的相似性 。然而，本文提出的視覺里程計方法提供了可用于地點識別的附加信息。二維圖像上點的深度（即這些點到攝像機的距離）可以通過單目或多攝像機視覺里程計進行部分或全部恢復。場景的三維結構可能為位置識別提供重要信息，然而二維位置識別方法忽略了這一點。在動態環境中（例如，在不同的光照下），3D結構比2D圖像更健壯。另一方面，關于利用激光雷達（Light Detection and Ranging，LiDAR）傳感器的3D點進行位置識別的文獻資料非常豐富。激光雷達傳感器掃描的是環境的三維結構，而不是其視覺外觀，使得基于激光雷達的地點識別更能抵御環境變化，如外觀和亮度的變化。

在這項工作中，我們將LiDAR位置識別方法，特別是LiDAR點云的描述子，應用到視覺里程計系統中，以實現位置識別。其目標是在動態環境中，以一種計算效率高的方式，使基于視覺的系統能夠準確而穩健地進行位置識別。

文章的主要貢獻有

?計算激光雷達點云數據全局描述子適應基于視覺的位置識別系統中；

?實現對視覺外觀發生變化時位置識別的精度和魯棒性;

?與現有方法相比，實現更低的計算成本。

我們在KITTI數據集和Oxford RobotCar數據集上評估了所提出的方法。通過對RobotCar數據集的分析，證明了該方法對季節變化的魯棒性，并證明了該方法比現有方法具有更高的精度和計算效率。通過使用圖像強度信息增強激光雷達描述子，進一步提高了性能。

● 內容精華

論文方法概述。其基礎在于“點云預處理”模塊，利用立體VO獲得的三維點模擬激光雷達掃描，從而可以進行有效的位置識別。

由于相機視野狹窄，立體視覺里程計生成的三維點位于由攝像機姿態決定的視錐上。如果我們直接在視錐內部應用全局描述符，那么位置識別將對視角非常敏感。為了解決這一問題，我們提出了一種簡單而有效的方法，即將立體視覺里程計中的三維點轉換成全向的LiDAR形狀（球形）三維點云。如圖3所示。立體視覺里程計生成關鍵幀與相機姿勢和相關的三維點。其中保留局部點列表。對于每個傳入的關鍵幀，我們將其所有3D點存儲到列表中。為了模擬激光雷達對當前關鍵幀的掃描，迭代局部點列表：如果點的距離在所需的激光雷達范圍內，則通過當前姿勢將其轉換為當前關鍵幀坐標，然后將其放入球形點列表中。

?KITTI 數據集部分模擬激光雷達掃描結果的照片

點云描述子：該方法的是利用激光雷達點云數據的全局描述子來描述濾波后的點云并得到關鍵幀的位置特征。使用這種計算方式的原因有兩個：第一個原因是計算點云描述子和匹配點云時的計算效率；第二個原因是我們所得到的點云是通過視覺里程計圖像中點三角化生成的，它們不像激光雷達那樣一致和密集。許多局部描述符（如 Spin Image ）依賴于曲面法線，對于曲面法線，需要密集的點云，這在本例中是有問題的。我們選擇DELIGHT[5]、M2DP[15]和Scan Context[19]作為全局描述符，因為它們是用于位置識別的最先進的激光雷達描述子，對稀疏和不一致的點云具有魯棒性。它們的算法思想如圖5所示。

展示本文使用的點云描述子：DELIGHT,M2DP, and Scan Context.

DELIGHT：是一種根據點云的激光雷達強度的點云描述子，根據激光雷達掃描點云按半徑、方位角和仰角分為16個基元。每個bin由內部的激光雷達強度直方圖描述，這些直方圖連接起來形成代表整個激光雷達掃描的特征，該描述子對旋轉和平移不太敏感，具有一定的魯棒性。

M2DP：是一個具有高精度和高效率的全局描述子。將點云投影到多個平面上，并根據半徑和方位角將每個平面劃分為單獨的存儲單元。將投影到面元上的分布連接起來，形成點云的特征。為了提高計算效率和存儲效率，采用奇異值分解（SVD）對描述子進行壓縮。

Scan Context：點云上下文是一個簡單而有效的描述子，用于城市地區的激光雷達掃描。激光雷達掃描與外部測量的重力軸對齊（例如，使用IMU）。然后根據半徑和方位角將水平圓平面分割成多個基元。在每個箱子中，找到最大高度并將其連接起來，以形成當前位置的描述子。

位置識別：

基于位置的描述子，確定位置之間的相似性，通過計算每個位置到參考數據庫中每個位置描述子的最短距離獲取相似性。為了評估所提出的方法，我們在算法中比較了DELIGHT、M2DP和Scan Context, 以及BoW, GIST。

●?實驗結果

基于RobotCar數據集的位置識別精度統計

●總結

本文提出了一種新的立體視覺里程計位置識別方法。我們不需要二維圖像的相似性，而是依靠視覺里程計生成的三維點來確定地點之間的相關性。立體系統的三維點以絕對比例被用來模擬激光雷達掃描，這些掃描點被輸入到三個激光雷達獲取的點云全局描述子數據集中，分別是DELIGHT、M2DP和 Scan Context。我們用灰度強度信息來增強描述子。在KITTI數據集和RobotCar數據集上的實驗表明了該方法的準確性、高效性和魯棒性。

參考文獻

[5] Konrad P Cop, Paulo VK Borges, and Renaud Dub′e. DELIGHT: An Efficient Descriptor for Global Localisation using LiDAR Intensities. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 3653–3660. IEEE, 2018

[15] Li He, Xiaolong Wang, and Hong Zhang. M2DP: A Novel 3D Point Cloud Descriptor and its Application in Loop Closure Detection. In 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 231–237. IEEE, 2016.

[19] Giseop Kim and Ayoung Kim. Scan Context: Egocentric Spatial Descriptor for Place Recognition within 3D Point Cloud Map. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4802–4809. IEEE, 2018.

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請點擊“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的基于点云描述子的立体视觉里程计快速鲁棒的位置识别方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。