PCL中3D特征描述子Shot详解
上周點云公眾號開始分享群友們的反饋分享,由博主分配任務,半個月甚至一個月參與學習小伙伴的反饋給群主,并在微信交流群中進行學術交流,加強大家的閱讀文獻能力,并提高公眾號的分享效果。已經有一些開始陸續反饋中,在此期待之前參與任務的小伙伴趕緊將你們的分享發送給群主吧,同時也希望更多的同學能參與進來,參與我們下一輪學習!
SHOT概述
????? SHOT(Signature of Histogram of Orientation)是一種基于局部特征的描述子,在特征點處建立局部坐標系,將鄰域點的空間位置信息和幾何特征統計信息結合起來描述特征點。Tombari 等人將現有三維局部特征描述方法分為兩類,即基于特征的描述方法與基于直方圖的描述方法,并分析了兩種方法的優勢,提出基于特征的局部特征描述方法要比后者在特征的描述能力上更強,而基于直方圖的局部特征描述方法在特征的魯棒性上比前者更勝一籌。
????? 計算3D表面之間的相似程度(表面匹配)是計算機視覺任務尤其是3D對象識別和表面對齊的關鍵。通過匹配3D描述符建立的局部對應關系可以用于解決更高級別的任務,例如3D對象識別。這種方法以有效地處理諸如遮擋,雜亂和視點變化等問題。
SHOT步驟
? ? ? The first category, that includes earliest works on the subject, describes the 3D surface neighborhood of a given point (hereinafter support) by defining an invariant local Reference Frame (RF) and encoding, according to the local coordinates, one or more geometric measurements computed individually on each point of a subset of the support.
???????? 一方面,通過定義不變的局部坐標系(RF)并根據局部坐標單獨編碼計算一個點的支撐區域的幾何特征,來描述給定點的3D表面鄰域(下文稱為Support)。
? ? ?On the other hand, Histogram-based methods describe the support by accumulating local geometrical or topological measurements (e.g. point counts, mesh triangle areas) into histograms according to a specific quantized domain (e.g. point coordinates, curvatures) which requires the definition of either a Reference Axis (RA) or a local RF.
???????? 另一方面,基于直方圖的方法通過根據特定的量化域(例如點坐標,曲率)將局部幾何或拓撲測量(例如點數,網格三角形區域)累積到直方圖中來描述支撐區域,這需要定義參考軸Reference Axis(RA)或局部RF。(local Reference Frame)
step1: 根據特征點球鄰域信息建立局部參考坐標系LRF,對特征點的球鄰域分別沿徑向(內外球)、經度(時區)和緯度方向(南北半球)進行區域劃分。通常徑向劃分為2,經度劃分為8,緯度劃分為2,總共32個小區域。
step2:分別統計每個小區域內的法向量夾角余弦值分布情況,法向量劃分為11個bin。最終SHOT的長度為:32x11=352。
分解步驟1:建立坐標系
法向估計 得到Z軸一般使用的PCA
計算該點K近鄰組成類似平面的XYZ方向上的特征值就是它的法線。通過主成分分析法(PCA)來計算它的方向也具有二義性,無法對整個點云數據集的法線方向進行一致性定向。
???????? 本文中添加了一個距離參數,給鄰域內較遠的點分配較小的權重,協方差矩陣的構造過程和深度圖中某點的法向計算類似,不同的是,該方法在構造協方差矩陣時加上了距離權重。離特征點距離近的點對協方差矩陣構造的貢獻大,距離特征點遠的點對協方差矩陣構造的貢獻小,這樣增強了局部參考系在復雜場景中的可重復性。
為了計算方便,設置特征點P為質心,設置半徑為R的球形支撐區域。
另外本文還解決了法線二義性的問題,將由上式得到的特征值從大到小排列,與其對應的三個特征向量分別稱為x +,y +和z +軸。
這個公式大致意思是說特征點P鄰域內點Pi滿足點到P的距離小于R并且該點減去特征點,與x+同向,滿足這兩個條件的點數較多,X+就是X軸的正向。也就是說必須使各向量的方向指向局部表面點分布的高密度方向。Y軸由Z和X叉乘得到。
分解步驟2:直方圖特征描述
提出了一種3D描述符,其對基本一階微分實體(即支撐區域內的點的法線)的直方圖進行編碼,與平面3D坐標相比,其更能代表表面的局部結構。
SHOT描述在紋理上的擴展
由于最初提出的SHOT描述子是不針對紋理和顏色信息的,單純的幾何信息編碼影響識別的準確率,因此后來SHOT加入了顏色信息。SHOT中的顏色編碼主要是LAB空間(CIELAB計算)中的顏色;直方圖31級,因此顏色描述子長度32x31 = 992;添加顏色信息的SHOT描述子共1344維。
參考文獻
[1] http://docs.pointclouds.org/trunk/structpcl_1_1_s_h_o_t1344.html
[2] http://www.vision.deis.unibo.it/research/80-shot
[3] https://blog.csdn.net/FireMicrocosm/article/details/78059151
[4] https://www.cnblogs.com/BellaVita/p/10019409.html
[5] F. Tombari *, S. Salti *, L. Di Stefano, "Unique Signatures of Histograms for Local Surface Description",?11th European Conference on Computer Vision (ECCV), September 5-11, Hersonissos, Greece, 2010.
[6] F. Tombari, S. Salti, L. Di Stefano, "A combined texture-shape descriptor for enhanced 3D feature matching",?IEEE International Conference on Image Processing (ICIP), September 11-14, Brussels, Belgium, 2011.
[7] S. Salti, F. Tombari, L. Di Stefano, "SHOT: Unique Signatures of Histograms for Surface and Texture Description",?Computer Vision and Image Understanding, May, 2014.
[8] 鄧俊文,基于二值描述符的三維目標識別研究 。重慶大學碩士學位論文.
?此分享來自北京工業大學的閆同學,在此感謝她為公眾號的分享,并號召大家積極分享共同營造良好的交流分享的氛圍,并且此文章已經上傳至github組群。同時文章中若有疑問或者錯誤請留言指正。
資源
三維點云論文及相關應用分享
【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法
3D目標檢測:MV3D-Net
三維點云分割綜述(上)
3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割(2020)
win下使用QT添加VTK插件實現點云可視化GUI
JSNet:3D點云的聯合實例和語義分割
大場景三維點云的語義分割綜述
PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示
基于局部凹凸性進行目標分割
基于三維卷積神經網絡的點云標記
點云的超體素(SuperVoxel)
基于超點圖的大規模點云分割
更多文章可查看:點云學習歷史文章大匯總
SLAM及AR相關分享
【開源方案共享】ORB-SLAM3開源啦!
【論文速讀】AVP-SLAM:自動泊車系統中的語義SLAM
【點云論文速讀】StructSLAM:結構化線特征SLAM
SLAM和AR綜述
常用的3D深度相機
AR設備單目視覺慣導SLAM算法綜述與評價
SLAM綜述(4)激光與視覺融合SLAM
Kimera實時重建的語義SLAM系統
SLAM綜述(3)-視覺與慣導,視覺與深度學習SLAM
易擴展的SLAM框架-OpenVSLAM
高翔:非結構化道路激光SLAM中的挑戰
SLAM綜述之Lidar SLAM
基于魚眼相機的SLAM方法介紹
往期線上分享錄播匯總
第一期B站錄播之三維模型檢索技術
第二期B站錄播之深度學習在3D場景中的應用
第三期B站錄播之CMake進階學習
第四期B站錄播之點云物體及六自由度姿態估計
第五期B站錄播之點云深度學習語義分割拓展
第六期B站錄播之Pointnetlk解讀
[線上分享錄播]點云配準概述及其在激光SLAM中的應用
[線上分享錄播]cloudcompare插件開發
[線上分享錄播]基于點云數據的?Mesh重建與處理
[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享
[線上分享錄播]地面點云配準與機載點云航帶平差
點云PCL更多活動請查看:點云PCL活動之應屆生校招群
掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示:
如果你對本文感興趣,請點擊“原文閱讀”獲取知識星球二維碼,務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球,免費下載pdf文檔,和更多熱愛分享的小伙伴一起交流吧!
以上內容如有錯誤請留言評論,歡迎指正交流。如有侵權,請聯系刪除
掃描二維碼
? ? ? ? ? ? ? ? ? ?關注我們
讓我們一起分享一起學習吧!期待有想法,樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺,點云,高精地圖,自動駕駛,以及機器人等相關的領域。
分享及合作方式:群主微信“920177957”(需要按要求備注) 聯系郵箱:dianyunpcl@163.com,歡迎企業來聯系公眾號展開合作。
點一下“在看”你會更好看耶
總結
以上是生活随笔為你收集整理的PCL中3D特征描述子Shot详解的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CloudCompare的介绍
- 下一篇: 【论文速读】基于投影方法的激光雷达点云处