Geo-CNN的三維點云

Modeling Local Geometric Structure of 3D
Point Clouds using Geo-CNN

摘要

深度卷積神經網絡（CNNs）的最新進展促使研究人員采用CNNs直接對三維點云中的點進行建模。局部結構的建模已經被證明是卷積結構成功的關鍵，研究人員在特征提取層次中開發了局部點集的建模。對于局部區域內點間幾何結構的顯式建模研究卻很少。提出GeoCNN，它對每個點及其局部鄰域應用一種稱為GeoConv的類卷積運算。在提取中心點與相鄰點的邊緣特征時，捕捉點之間的局部幾何關系。將邊緣特征提取過程分解為三個正交基，根據邊緣向量與基之間的夾角對提取的特征進行聚合。在整個特征提取層次中保持歐幾里德空間中的幾何結構。GeoConv是一種通用且高效的操作，可輕松集成到多個應用程序的三維點云分析管道中。在ModelNet40和KITTI上評估Geo-CNN，并獲得最先進的性能。

創新點

為了解決這些問題，提出了一種新的卷積式操作GeoConv，在特征提取的整個層次中，顯式地建模點之間的幾何結構。GeoConv應用于每個點及其由半徑確定的局部球面鄰域。如圖1所示，表示兩點間幾何結構的向量p_{q可以分解為三個正交基。通過將邊緣特征提取過程分解為三個正交方向，減少點云絕對坐標的方差，鼓勵網絡沿著每個基獨立學習邊緣特征；根據邊緣向量與基之間的幾何關系聚合特征，顯式地建立點之間的幾何結構模型。這種學習方式在保留幾何信息的同時，將復雜的幾何結構學習問題分解為簡單的幾何結構學習問題。最后，為了提取中心點的局部特征，基于p}q范數對局部鄰域中所有點的邊緣特征進行加權，GeoConv的另一個優點是能夠實現特征級的多視圖增強。分解聚合方法可以通過操縱角度來重新加權特征，從而在特征層近似點云的旋轉。

通過將多層GeoConv與越來越大的鄰域進行疊加，構建Geo CNN，通過增加接收域來分層提取特征。通過通道最大值池來聚合所有點的特征，以保持置換不變性。GeoConv是對點的局部幾何結構進行建模的通用模塊。可以很容易地集成到不同的管道中進行三維點云分析，例如三維形狀分類、分割和目標檢測。對Geo-CNN的ModelNet40[51]和KITTI[17]進行了評估，并獲得了最佳性能狀態。

以一組三維點為輸入，通過對每個點及其局部鄰域應用卷積類運算（GeoConv）來開發局部幾何結構。通過增加鄰域大小來疊加多個GeoConv層來構建Geo-CNN。逐步擴大卷積的接受域，并抽象出越來越大的局部區域，以分層提取特征并保持沿層次的點的幾何結構（如圖2的（a）所示）。

B = {(1,0,0),(?1,0,0),(0,1,0),
(0,?1,0),(0,0,1),(0,0,?1)}

如圖2的（c）所示，六個基將空間分成8個象限，特定象限中的任何矢量都可以由B之外的三個基組成。給定一個相鄰點q，定位它所處的象限（將p設為原點來考慮相對坐標系）。將矢量p_{q投影到該象限的三個基上，計算p}q與各基之間的夾角（如圖2（d）所示）。

表1顯示了Geo-CNN和以前的方法之間的比較。Geo CNN在對象分類任務中使用ModelNet401的兩個評估指標實現了最新的性能。本文使用最先進的PointNet++[35]實現了類似的性能。

用GeoConv代替v1分割網絡中的點網特征提取模塊，GeoCNN的截頭臺性能優于v1和v2截頭臺。根據[32]發布的代碼評估驗證集上的截頭臺v1和v2的性能，它與[32]中報告的性能非常相似。在圖4的二維和三維圖像上用Geo-CNN可視化截頭臺的檢測結果。

表2顯示了KITTI 3D目標檢測的評估結果。檢測管道的實現基于截錐點網v1，涉及到2D對象檢測中的對象建議[36、18、59、26、58]。v1的性能被更復雜體系結構的截頭體PointNet v2超越。

如表3所示，直接學習點之間的幾何結構或系數以從三維坐標中聚合分解的特征沒有幫助。

評估了特征級多視圖增強的效果。一種將多視圖信息融合到網絡學習過程中的簡單方法，訓練時隨機旋轉輸入點云作為數據增強。在GeoConv中提出的分解-聚集方法，使我們能夠在特征層近似三維多視圖增強。表5顯示了ModelNet40數據集上輸入級多視圖增強和特征級近似的性能。觀察到輸入級多視圖數據增強導致基線法和Geo-CNN的性能下降。一個可能的原因是，輸入級數據的增加會導致不同視圖之間的差異很大，而這種差異不能用單一的緊湊模型來正確地學習。另一種可能的解決方案是學習具有不同視圖的單獨模型，然后將其聚合。多網絡模型的復雜性，其靈活性和可擴展性較差。

總結

以上是生活随笔為你收集整理的Geo-CNN的三维点云的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。