SuMa++: Efficient LiDAR-based Semantic SLAM

• 摘要和引言
• • 摘要
  • • 關鍵
    • 方法
    • 結果
  • 引言
  • • 關鍵工作
    • 過程
    • 主要貢獻
• 結果和討論
• • 結果
  • 下一步
  • 討論
• 方法和實驗
• • 概述
  • 方法
  • • A.Notation
    • B.Surfel-based Mapping
    • C.Semantic Segmentation
    • D.Refined Semantic Map
    • E.Filtering Dynamics using Semantics
    • F.Semantic ICP
  • 實驗
  • • 驗證
    • 配置
    • 數據集
• 如有錯誤，煩請斧正，不勝感激！

摘要和引言

摘要

關鍵

語義信息

方法

• SuMa的擴展，融入語義信息，促進建圖過程
• 語義信息由全卷積神經網絡提取，并渲染在激光測距數據的球形投影上
• 計算出的語義分割結果可為整個掃描逐點生成標簽，從而可以構建帶標簽的surfers的語義豐富的地圖

結果

• 這個語義地圖可讓我們可靠地過濾動態對象，而且還可以通過語義約束來改進投影掃描匹配
• 我們對KITTI數據集高速公路sequence（帶有很少的靜態結構和大量的移動車輛）進行了實驗評估，結果表明相比于最新技術的純幾何方法，我們的語義SLAM方法是有優勢的

引言

語義信息很有必要

• slam系統經常在高動態環境中操作
• 需要已建圖區域的語義信息來啟用智能導航行為

關鍵工作

• 提出了一種新的SLAM方法，該方法可以用三維激光測距掃描生成這類的語義地圖
• 本方法利用了現代LiDAR SLAM pipeline的思想，并且包含由FCN進行語義分割后的語義信息
• 可生成高質量的語義地圖，同時改善地圖的幾何形狀和里程計的質量

過程

FCN為激光測距掃描的每個帶你提供了類標簽。

使用球面投影對點云進行高效處理

二維球面投影上的分類結果反投影到三維點云

但是反投影會引入偽影，我們通過兩步侵蝕過程以及語義標簽的基于深度的flood-fill來減少偽影

語義標簽整合到基于surfel的地圖表示，并加以利用，以更好地配準新觀察數據和已構建地圖

此外，在更新地圖時，我們通過檢查新觀測數據與世界模型之間的語義一致性來使用語義過濾運動對象

用這種辦法，我們降低了將動態對象融入地圖的風險。

主要貢獻

• 將語義信息整合進基于surfel的地圖表示法中
• 利用語義標簽過濾動態對象
• 總之，我們宣稱
  我們可以準確地在環境中建圖，特別是在有許多移動對象的情況下；
  我們可以獲得比同一個建圖系統更好的性能，只需移除一般環境中可能移動的物體，包括城市、鄉村和公路場景。
• 我們對KITTI的具有挑戰性的序列進行了實驗性評估，并證明了與純幾何的基于surfel的建圖和基于類標簽刪除所有潛在移動對象的建圖相比，我們的語義surfel建圖方法SuMa++的性能優越。

結果和討論

結果

本文提出了一種新的方法來構建語義地圖，該方法不需要任何相機數據，由基于激光的點云語義分割實現。
本方法利用掃描和地圖之間的語義一致性來過濾出動態對象，并在ICP過程中提供更高級別的約束。

• 使我們能夠成功地僅基于三維激光測距組合語義和幾何信息，從而獲得比純幾何方法更好的姿態估計精度

我們在KITTI Vision Benchmark數據集上評估我們的方法，結果顯示與純幾何方法相比，我們的方法更有優勢。

下一步

• 調查語義在回環檢測中的用途
• 估計更細粒度的語義信息，例如車道結構或道路類型

討論

在地圖更新過程中，我們只對可移動對象的動態變化進行了懲罰，這意味著我們不會對語義上靜態的對象進行懲罰。
本方法的局限性

• 不能在第一次觀察中濾除動態對象。一旦在第一次掃描中有大量移動物體，本方法就會失敗（因為無法估計合適的初始速度或位姿）

解決

• 通過在初始化期間刪除所有可能移動的對象類型來解決此問題
• 但更魯棒的方法是回溯由觀察到的移動狀態的變化而導致的變化，從而追溯更新地圖

方法和實驗

概述

方法

A.Notation

主要是位姿表示以及點云從局部坐標系轉換到世界坐標系。

B.Surfel-based Mapping

• SuMa首先在時間步長t處生成了點云P的球面投影，即所謂的頂點映射$V_D$，然后用$V_D$生成向量映射$N_D$
• 穩定性對數比值（用二進制貝葉斯濾波器維持）用來判定一個surfel是否穩定

C.Semantic Segmentation

• 對于每一幀，我們用RangeNet++來預測每個點的語義標簽，并且生成了一個語義映射$S_D$
• RangeNet++在語義上分割了由每次激光掃描的投影生成的距離圖像
• 傳感器視角中逐點標簽的可用性還可以將語義信息集成到地圖中
• 我們為每個surfel添加推斷的語義標簽y和來源于語義分割的該標簽的相應概率

D.Refined Semantic Map

由于投影輸入和RangeNet++網絡內降采樣的副產品產生的類似斑點的輸出，當將標簽重新投影到地圖時，我們必須處理語義標簽的誤差。

為了減小該誤差，我們使用了flood-fill算法。

flood-fill算法

輸入是RangeNet++生成的原始語義掩碼$S_{raw}$和相應的頂點映射$V_D$,輸出是改進的語義掩碼$S_D$。
考慮到預測對象邊界不確定性比預測對象中心不確定性高，因此分為兩步

腐蝕去除像素
先產生了腐蝕掩碼$S_{{eroded}_{raw}}$，后將$S_{{eroded}_{raw}}$與頂點映射$V_D$生成的深度信息結合起來，填充腐蝕掩碼$S_{{eroded}_{raw}}$。

如果對應點的距離是一致的，即小于閾值𝜃，則將空邊界像素的標簽設置給相鄰的已標記像素

E.Filtering Dynamics using Semantics

利用語義分割提供的標簽來處理移動對象。

• 當更新地圖時，通過檢查新的觀測$S_D$和世界模型$S_M$的語義一致性來過濾動態對象
• 如果標簽不一致，就假設這些surfels屬于兩次掃描之間的移動對象
• 因此，在遞歸貝葉斯濾波器穩定性項的計算中添加了懲罰項，這樣的話，在幾次觀測之后，就可以移除不穩定的surfel
  
• 利用以上3步，就可以完成動態對象的檢測與移除

F.Semantic ICP

誤差項較SuMa多了個權重$w_u$(將幾何信息和語義信息聯合)。

實驗

比較SuMa,SuMa++,SuMa_nomovable。

驗證

• 即使在存在大量移動物體的情況下也能準確繪制地圖
• 與僅移除一般環境（包括城市，鄉村，高速公路場景）中可能移動的物體相比，本方法性能更好

配置

• an Intel Xeon? W-2123 with 8 cores @3.60 GHz with 16 GB RAM
• an Nvidia Quadro P4000 with 8 GB RAM
• RangeNet++使用了KITTI Odometry Benchmark中所有的訓練序列（00-10，除了08）進行訓練

數據集

A.KITTI Road Sequences
動態對象較多的情況中，SuMa++和SuMa_nomovable表現相似，都挺好，SuMa表現較差。

• SuMa++可以產生比SuMa更一致的軌跡，并且在大多數情況下實現更小的平移誤差
• SuMa++和SuMa_nomovable表現相似，SuMa表現較差（動態對象導致的不一致性）

B.KITTI Odometry Benchmark
SuMa_nomovable在城市場景中偏差較大，原因如下

• 即使我們嘗試改善語義分割的結果，但仍有錯誤的預測導致地圖中實際為靜態的surfel被刪除
• （在測試中）停泊的汽車對于掃描而言是良好且獨特的特征，移除掉它們會出現問題

在未知軌跡中評估我們方法的性能

• SuMa++,旋轉誤差0.0032 deg/m,平均位移誤差 1.06%
• SuMa,旋轉誤差0.0032 deg/m,平均位移誤差 1.39%

如有錯誤，煩請斧正，不勝感激！

總結

以上是生活随笔為你收集整理的SuMa++论文阅读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。