點云PCL免費知識星球，點云論文速讀。

標題：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments

作者：Victor Amblard, Timothy P. Osedach, Arnaud Croux, Andrew Speck and John J. Leonard4

代碼開源：https://github.com/hku-mars/livox_camera_calib.git

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。文章僅做學術分享，如有侵權聯系刪文。未經博主同意請勿擅自轉載。

摘要

在缺乏魯棒的視覺特征的環境中，運動結構（SfM）通常無法估計準確的姿勢，在這種情況下，最終3D網格的質量會降低，克服這個問題的，一種方法是將單目相機的數據與激光雷達的數據結合起來。這種聯合傳感器的方法可以捕捉環境中精細的細節和紋理，同時仍能準確地表示無特征的對象，然而，由于這兩種傳感器的特性根本不同，因此融合這兩種傳感器模式是非常具有挑戰性。

與直接融合圖像特征和激光雷達點不同，我們提出的方案是利用激光雷達掃描的點云和圖像數據中檢測到的常見幾何特征，允許在更高級別的空間中處理來自兩個傳感器的數據，特別是，在執行捆集調整以優化姿勢之前，找到從激光雷達點云中提取的三維線段與圖像中檢測到的二維線之間的對應關系。我們利用檢測到的和優化的線段來提高最終重建網格的質量，在最近發布的數據集上測試我們的方法，并將3D重建網格的精度和完整性與測量級3D掃描儀獲得的真值進行比較。結果表明，該方法提供的結果與最先進的激光雷達掃描儀相當，同時不需要高度精確的姿態估計。

圖1：提出的方法是基于點線特征，將激光雷達點云和單目圖像緊密耦合，以重建3D場景

主要貢獻

建筑物或室外環境等大型場景的密集重建對于各種應用越來越具有吸引力，勘測級3D激光雷達系統能夠對環境進行非常精確的重建，但價格昂貴，而且需要花費大量時間才能全面覆蓋大面積區域。另一方面，僅從單目圖像重建3D場景帶來了一系列不同的挑戰。首先，為了準確地恢復姿勢，必須收集大量具有明顯重疊的圖像，此外，場景必須具有良好的照明和足夠豐富的視覺特征，最后，重建的場景可能沒有絕對尺度和比例。

最近，研究者們開始探索將相機圖像和激光雷達掃描進行三維重建的融合，在這種方法中，相機圖像捕獲紋理、顏色和精細細節，使用LIDAR捕獲完全獨立于視覺復雜性的精確距離信息（盡管分辨率較低），這使得它能夠填補視覺特征檢測失敗的空白，事實上，這些傳感器的不同性質使它們具有互補性，但也使它們的聯合使用變得復雜。

語義或幾何方法的目標是在更高級別的空間中處理來自這兩種不同傳感器模式的數據，利用環境的結構降低不同源數據集的差異帶來的復雜性。該工作重點放在線段上，因為它們是非常簡單的幾何特征，計算成本低廉，并且在結構化環境中很容易檢測，然而，由于單目圖像中的深度模糊性，在不同圖像中查找二維直線之間的對應關系是一項困難的任務，實際上，兩個端點位于同一對極線上的線段將在圖像中的有著相同的重投影位置，即使它們的3D坐標顯著不同，因此，這里選擇了一種3D線段表示法，它結合了距離傳感器（即激光雷達）的數據以及單目圖像的數據，然后利用這些對應關系推導出捆集調整的代價函數，即估計值，優化的線段來配準激光雷達點云，隨后被合并到激光雷達和相機多視圖幾何（MVS）流程中。

圖2概述了我們的工作流程。本文的主要貢獻如下：

• 提出了一種基于運動算法的端到端結構，該算法利用激光雷達/攝像機聯合觀測，導出用于定位和重建的三維線段。

• 通過在公共數據集上進行測試來驗證我們的方法，然后進行優化以提高初始位姿的精度。

? 圖2：激光雷達和相機聯合重建流程概述

主要內容

如圖2所示，我們的方案中包括兩個主要模塊。第一個是激光雷達增強的運動恢復結構模塊，該模塊處理來自激光雷達和相機檢測到的3D線段，并提取和合并不同視圖中的三維線段，然后使用對應線的搜索功能，可以創建線簇，并剔除一些錯誤的匹配線，對新代價函數的優化產生新的姿態估計。第二模塊是利用新的位姿估計3D線段，基于圖像和激光雷達掃描點云的組合信息重建曲面網格。

A?線段檢測

線段檢測模塊旨在提取攝像機和激光雷達觀察到的3D線段，這里首先確定圖像中潛在的二維線段，這將構成導出后續三維線段的基礎，這里使用線段檢測器（LSD），一種廣泛使用的基于區域精確檢測線段的方法。然后，我們用激光雷達的點云信息增強2D信息，從而能夠在3D點云中精確定位線段，將正確的激光雷達點與檢測到的二維線段相關聯，這對于我們算法的性能至關重要。

線段檢測模塊旨在提取攝像機和激光雷達觀察到的3D線段，這里首先確定圖像中潛在的二維線段，這將構成導出后續三維線段的基礎，這里使用線段檢測器（LSD），一種廣泛使用的基于區域精確檢測線段的方法。然后，我們用激光雷達的點云信息增強2D信息，從而能夠在3D點云中精確定位線段，將正確的激光雷達點與檢測到的二維線段相關聯，這對于我們算法的性能至關重要。

由于激光雷達掃描點云信息無法提供任何紋理信息，我們丟棄與平面對應的線（即僅與紋理變化對應），而是將激光雷達和相機關聯聚焦在邊緣線部分（即與局部曲面法向量變化對應的線）。因此，除了二維線段外，我們還根據平滑度分數從激光雷達點云中中檢索邊緣點，然后根據其像素距離將生成的邊緣點與2D線段進行匹配。通過環境的結構信息每個2D線段現在關聯了一組激光雷達邊緣點，我們知道選定的激光雷達點云對應于一條3D線段。然而，這些點對應的具體線可能仍然不明確，為了解決這些對應線的問題并確保這些邊緣點對應于與檢測到的2D段匹配的同一條線，我們在邊緣點集上運行RANSAC，只保留內聯線，然后將重投影的3D線與LSD輸出的2D段進行比較，最后，為了避免圖像中同一實際線段的多個實例，我們還融合了方向相似且位于同一線上的3D線段。該程序如圖3所示

圖3：攝像機和激光雷達3D線段檢測和對應關系融合流程概述

B.3D線段的對應關系

一旦在圖像集中檢測到3D線段，我們將通過3D線段的對應關系尋找表示同一實際線段不同視圖的線段，假設在第i個圖像中檢測到的3D片段L，首先使用當前線段的3D信息在所有圖像上重投影當前線段，并且只保留線段可見的視圖。然后迭代在這些視圖中檢測到的線段集，并計算相似性分數，如下所述。

算法1提供了匹配代碼的詳細過程，相似度得分s標準：

? 重投影的3D線段之間的角度；

? 投影線段端點之間的像素距離；

? 定義為向量范數的“正交距離”應垂直于3D線段方向投影；

? 除了上述三個標準外，我們還使用線段描述子（LBD），它提供了關于線條局部外觀的附加信息。這四個分量中的每一個都由四個超參數加權，算法1描述了計算單個線段的匹配集的過程。

我們對所有線段重復該過程，最終在線段之間產生一組成對關聯。但是，在不同視圖中，其中一些關聯可能不一致，其中來自同一視圖的兩條直線段在視覺上表示不同的實際線段，可以在數據關聯圖中連接。為了確保在上一步中計算的成對關聯的一致性，并減少潛在的虛假數據關聯，我們使用CLEAR算法。如以下所述，進一步優化線段。該過程如圖4所示：

圖4：按照前面描述的匹配過程進行成對關聯（邊），紅色表示由CLEAR過濾掉的不一致關聯數據。

C.線的捆集調整

在有限的線段上進行優化通常是非常重要的，以下詳細說明了成本函數中涉及的不同代價函數，我們試圖將其最小化。

1）?相機觀測值：我們將3D特征點重投影誤差定義為其觀測值的總和，即其重投影到圖像平面上與該圖像的相關觀測值之間的像素距離：

2）線段重投影：線段重投影誤差定義為其所有觀測值的總和，即第i幅圖像上線段的觀測值與重投影值之間的距離。

優化的三維特征位置和優化的直線方程，使用庫Ceres庫使用Levenberg-Marquart算法計算，在優化過程中，采用直線的正交表示法。

圖6：每個圓表示從激光雷達點云中檢測到的邊緣點，使用線段檢測器檢測線，顏色表示二維線段和邊點之間的關聯，灰色表示未關聯的邊和線。

D.激光雷達增強的多視角圖

最后進一步利用檢測到的線段以及激光雷達點云和相機圖像，通常，MVS流程包括三個步驟：深度圖計算、深度圖融合和網格重建。利用上一步線特征優化計算的姿態，將所有激光雷達點云配準到一個單點云上，并使用體素網格對其進行下采樣，然后跟蹤聚集在同一體素中的激光雷達點云的數量，該度量表示后續步驟中每個體素的可見性和相對重要性的度量，深度圖計算主要依靠激光雷達點云來初始化深度圖，然而，我們稍微修改了他們的方法，以減少潛在的遮擋問題。同時我們檢查像素深度與鄰域中平均深度的一致性，只有當深度與局部平均值一致時，我們才保留激光雷達測量值，在計算深度貼圖后，我們將其融合，最后一步是根據融合的深度圖和配準的激光雷達點云生成曲面網格。

實驗

我們在從數據集中提取的兩個數據集上測試了該方法，每個序列包含大約60幅圖像，提供相機的內參以及相機和激光雷達之間的外參，圖5顯示了攝像機在序列中的位置以及數據集的三維視圖，通過添加隨機平移噪聲和旋轉噪聲來生成有噪聲的初始姿態估計。

圖5：真值軌跡，第一個序列顯示為綠色，第二個序列顯示為橙色。

表I中的結果表明，對于所測試的兩個序列，使用線和可視點聯合產生的結果略好于SfM方法，此改進歸因于線段相對于點特征提供的更大穩定性。

圖7顯示了通過不同方法獲得的最終重建網格的圖示

圖7：序列2上不同方法獲得的表面重建的網格。顏色表示網格到真實點云的距離，從藍色（接近0）到紅色（超過0:5m）

總結

本文提出了一種新的基于三維線段的激光雷達和基于相機的表面重建方案：具有幾何語義結構信息，計算成本低，輕量化，并嵌入來自兩個傳感器的信息，從復雜的環境中進行的姿勢估計和線段估計，利用最先進的數據關聯算法，能夠優化的線段和姿勢來實現改進的多視圖重建方案。從相機和精度較低的激光雷達點云合成精確的視覺特征，線段提供的剛性結構信息能夠實現比純相機方法更高質量的表面重建，并與依賴于高精度姿態估計的純激光雷達三維重建具有相當的性能。

這項工作的一個關鍵假設是環境是結構化的，這一要求適用于城市環境，未來的工作可能會探索其他原始結構信息，這些幾何信息可以與線段一起使用，以提高性能并降低對高度結構化環境的依賴性。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的基于线段的激光雷达和单目联合曲面重建​的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。