激光雷達點云的特征表達

• 簡介
• 激光雷達成像原理
• 離散化
• • • • BEV圖
      • Camera view圖
• 點對點特征（point-wise feature）提取
• 特征融合

簡介

• 激光雷達的稀疏點云成像與稠密像素點的圖像成像不同，點云都是連續(xù)的，圖像是離散的；點云可以反應(yīng)真實世界目標(biāo)的形狀、姿態(tài)信息，但是缺少紋理信息；圖像是對真實世界的目標(biāo)離散化后的表達，缺少目標(biāo)的真實尺寸；圖像可以直接作為cnn網(wǎng)絡(luò)的輸入，而稀疏則需要做一些預(yù)處理。
• 因此，為了完成3D目標(biāo)檢測任務(wù)，需要對稀疏點云做特征表達，這里介紹3種方式：1）離散化后，手動（hand-crafted）提取特征，或者利用深度學(xué)習(xí)模型提取特征；2）點對點特征（point-wise feature）提取；3）特征融合。

激光雷達成像原理

激光雷達是一種綜合的光探測與測量系統(tǒng)，通過發(fā)射接受激光束，分析激光遇到目標(biāo)對象后的折返時間，計算出目標(biāo)對象與車的相對距離。目前常見的有16線、32線、64線激光雷達。激光雷達線束越多，測量精度越高，安全性越高。
多束激光線同時發(fā)射，并配合激光雷達的旋轉(zhuǎn)便得到了如上圖所示的激光雷達點云。禾賽64線激光雷達，其垂直方向最多有64根線，且視場范圍為：-25°~+15°。旋轉(zhuǎn)速度決定了水平方向點云角分辨率，如：激光雷達掃描頻率為10Hz，水平角分辨率為0.2°，那么掃描的點數(shù)為360°/0.2°=1800點；若掃描頻率提高到20Hz，此時角分辨率為0.4°，掃描點數(shù)也就減半，同樣目標(biāo)上的點云會更稀疏。

離散化

BEV圖

BEV圖由激光雷達點云在XY坐標(biāo)平面離散化后投影得到，其中需要人為規(guī)定離散化時的分辨率，即點云空間多大的長方體范圍（Δl * Δw * Δh）對應(yīng)離散化后的圖像的一個像素點（或一組特征向量），如點云20cm * 20cm * Δh的長方體空間，對應(yīng)離散化后的圖像的一個像素點。根據(jù)長方體空間中點云點特征表達方式不同可以分為hand-crafted feature、voxel-feature

• hand-crafted feature
  • 使用這種方式做特征表達的典型3D目標(biāo)檢測方法有MV3D、PIXOR、YOLO3D等，通過使用一些統(tǒng)計特征來完成對長方體中點云的特征表達，主要特征包括：最大高度值、與最大高度值對應(yīng)的點的強度值、長方體中點云點數(shù)、平均強度值等。
  • hand-crafted feature主要問題是丟棄了很多點云的點，缺失了很多信息。當(dāng)然可以通過設(shè)置比較小的長方體范圍來彌補，但是同時會增加計算量。MV3D通過設(shè)置比較小的Δh，得到了一系列的height maps。
• voxel-feature
  為了使用更多的點信息，以及使用end-to-end模型提取更好的特征，提出了voxel表達方式，廣泛應(yīng)用于second、voxelnet、pointpillar等方法中。voxel的特征表達主要包括3個步驟：點云預(yù)處理、點特征表達、voxel特征表達得到BEV圖?；趘oxel的特征表達，極大的緩解了點云在做BEV投影時信息丟失的問題，提高了整個網(wǎng)絡(luò)的效果。
  • 點云預(yù)處理：在一個voxel中篩選一定量的點，在點云原始信息基礎(chǔ)上，提取一些相對位置信息，組合成新的點云單點特征表達。
  • 點特征提取：使用全連接網(wǎng)絡(luò)提取單點特征，再計算voxel中篩選出來的點云特征的max-pooling，得到上下文特征，與單點特征組合得到新的點云單點的特征表達。
  • voxel特征表達：經(jīng)過多步的點特征提取后，將最后一次max-pooling得到的特征向量作為一個voxel的特征表達，對應(yīng)到BEV圖中相應(yīng)坐標(biāo)下的特征向量。

Camera view圖

在這種離散化方式中，激光雷達的垂直分辨率（線數(shù)）和水平分辨率（旋轉(zhuǎn)角分辨率）是兩個重要的可以依據(jù)的參數(shù)，分別對應(yīng)了離散化后的圖像的高和寬，如對于一個64線，角分辨率0.2°，10Hz掃描頻率的激光雷達，離散化后的圖像大小為64 * 1800 * c。

這種投影方式和圖像成像效果很相似，所以稱為camera view，但也同時會引入圖像成像的缺點，如遮擋、缺失深度信息等。

點對點特征（point-wise feature）提取

• 說到point-wise feature，首先想到的是pointnet系列，如下圖為pointnet的處理流程，主要包含兩個模塊: 全連接（mlp）和特征變換（transform）。pointnet特征提取應(yīng)用在自動駕駛的激光雷達3D目標(biāo)檢測中時，都是簡化的版本，比如voxelnet中的VFE layer，很少有pointnet直接作為目標(biāo)檢測的主網(wǎng)絡(luò)結(jié)構(gòu)，一般僅作為特征提取的方式。在其他應(yīng)用領(lǐng)域中，pointnet可以作為主要網(wǎng)絡(luò)做不同的任務(wù)，如kaiming大神的Vote3D使用pointnet++做3D目標(biāo)檢測。
• 自動駕駛中激光雷達的點云比較稀疏，應(yīng)用在稠密點云的特征表方法可以借鑒，很難直接使用。另外，大部分point-wise特征提取的方法，只能融合局部信息的特征，與更廣的上下文信息的聯(lián)系比較弱，而BEV或者camera view的表達方式，在使用合適的網(wǎng)絡(luò)結(jié)構(gòu)做特征提取時，感受野可以覆蓋全圖。因此，在自動駕駛領(lǐng)域，point-wise特征不會直接用來做3D目標(biāo)檢測任務(wù)。

特征融合

其實，不同的激光雷達點云特征提取方法有各自的優(yōu)缺點，但聯(lián)合在一起使用時，能發(fā)揮更好的作用，如在waymo的文章“End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds”中，融合了不同的特征表達方式，對小目標(biāo)和遠處目標(biāo)的檢測效果增益很大。

總結(jié)

以上是生活随笔為你收集整理的激光雷达点云的特征表达的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。