3D视觉点云数据处理十大方法
這篇博客主要介紹三維計(jì)算機(jī)視覺(jué)中點(diǎn)云數(shù)據(jù)處理面對(duì)的問(wèn)題，主要方法和技術(shù)，概述其特點(diǎn)。
ICP點(diǎn)云配準(zhǔn)就是我們非常熟悉的點(diǎn)云處理算法之一。實(shí)際上點(diǎn)云數(shù)據(jù)在形狀檢測(cè)和分類(lèi)、立體視覺(jué)、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)、多視圖重建中都有廣泛的使用。點(diǎn)云的存儲(chǔ)、壓縮、渲染等問(wèn)題也是研究的熱點(diǎn)。隨著點(diǎn)云采集設(shè)備的普及、雙目立體視覺(jué)技術(shù)、VR和AR的發(fā)展，點(diǎn)云數(shù)據(jù)處理技術(shù)正成為最有前景的技術(shù)之一。PCL是三維點(diǎn)云數(shù)據(jù)處理領(lǐng)域必備的工具和基本技能，這篇博客也將粗略介紹。
三維點(diǎn)云數(shù)據(jù)處理方法
1. 點(diǎn)云濾波（數(shù)據(jù)預(yù)處理）
點(diǎn)云濾波，顧名思義，就是濾掉噪聲。原始采集的點(diǎn)云數(shù)據(jù)往往包含大量散列點(diǎn)、孤立點(diǎn)，比如下圖為濾波前后的點(diǎn)云效果對(duì)比。
點(diǎn)云濾波的主要方法有：雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機(jī)采樣一致濾波、VoxelGrid濾波等，這些算法都被封裝在了PCL點(diǎn)云庫(kù)中。
2. 點(diǎn)云關(guān)鍵點(diǎn)
我們都知道在二維圖像上，有Harris、SIFT、SURF、KAZE這樣的關(guān)鍵點(diǎn)提取算法，這種特征點(diǎn)的思想可以推廣到三維空間。從技術(shù)上來(lái)說(shuō)，關(guān)鍵點(diǎn)的數(shù)量相比于原始點(diǎn)云或圖像的數(shù)據(jù)量減小很多，與局部特征描述子結(jié)合在一起，組成關(guān)鍵點(diǎn)描述子常用來(lái)形成原始數(shù)據(jù)的表示，而且不失代表性和描述性，從而加快了后續(xù)的識(shí)別，追蹤等對(duì)數(shù)據(jù)的處理了速度，故而，關(guān)鍵點(diǎn)技術(shù)成為在2D和3D 信息處理中非常關(guān)鍵的技術(shù)。
常見(jiàn)的三維點(diǎn)云關(guān)鍵點(diǎn)提取算法有一下幾種：ISS3D、Harris3D、NARF、SIFT3D
這些算法在PCL庫(kù)中都有實(shí)現(xiàn)，其中NARF算法是博主見(jiàn)過(guò)用的比較多的。
3. 特征和特征描述
如果要對(duì)一個(gè)三維點(diǎn)云進(jìn)行描述，光有點(diǎn)云的位置是不夠的，常常需要計(jì)算一些額外的參數(shù)，比如法線方向、曲率、文理特征等等。如同圖像的特征一樣，我們需要使用類(lèi)似的方式來(lái)描述三維點(diǎn)云的特征。
常用的特征描述算法有：法線和曲率計(jì)算、特征值分析、PFH、FPFH、3D Shape Context、Spin Image等。
PFH：點(diǎn)特征直方圖描述子，FPFH：跨蘇點(diǎn)特征直方圖描述子，FPFH是PFH的簡(jiǎn)化形式。這里不提供具體描述了，具體細(xì)節(jié)去谷歌吧。
4. 點(diǎn)云配準(zhǔn)
點(diǎn)云配準(zhǔn)的概念也可以類(lèi)比于二維圖像中的配準(zhǔn)，只不過(guò)二維圖像配準(zhǔn)獲取得到的是x，y，alpha，beta等放射變化參數(shù)，二三維點(diǎn)云配準(zhǔn)可以模擬三維點(diǎn)云的移動(dòng)和對(duì)其，也就是會(huì)獲得一個(gè)旋轉(zhuǎn)矩陣和一個(gè)平移向量，通常表達(dá)為一個(gè)4×3的矩陣，其中3×3是旋轉(zhuǎn)矩陣，1*3是平移向量。嚴(yán)格說(shuō)來(lái)是6個(gè)參數(shù)，因?yàn)樾D(zhuǎn)矩陣也可以通過(guò)羅格里德斯變換轉(zhuǎn)變成1*3的旋轉(zhuǎn)向量。
常用的點(diǎn)云配準(zhǔn)算法有兩種：正太分布變換和著名的ICP點(diǎn)云配準(zhǔn)，此外還有許多其它算法，列舉如下：
ICP：穩(wěn)健ICP、point to plane ICP、point to line ICP、MBICP、GICP
NDT 3D、Multil-Layer NDT
FPCS、KFPSC、SAC-IA
Line Segment Matching、ICL
5. 點(diǎn)云分割與分類(lèi)
點(diǎn)云的分割與分類(lèi)也算是一個(gè)大Topic了，這里因?yàn)槎嗔艘痪S就和二維圖像比多了許多問(wèn)題，點(diǎn)云分割又分為區(qū)域提取、線面提取、語(yǔ)義分割與聚類(lèi)等。同樣是分割問(wèn)題，點(diǎn)云分割涉及面太廣，確實(shí)是三言兩語(yǔ)說(shuō)不清楚的。只有從字面意思去理解了，遇到具體問(wèn)題再具體歸類(lèi)。一般說(shuō)來(lái)，點(diǎn)云分割是目標(biāo)識(shí)別的基礎(chǔ)。
分割：區(qū)域聲場(chǎng)、Ransac線面提取、NDT-RANSAC、K-Means、Normalize Cut、3D Hough Transform(線面提取)、連通分析
分類(lèi)：基于點(diǎn)的分類(lèi)，基于分割的分類(lèi)，監(jiān)督分類(lèi)與非監(jiān)督分類(lèi)
6. SLAM圖優(yōu)化
SLAM又是大Topic，SLAM技術(shù)中，在圖像前端主要獲取點(diǎn)云數(shù)據(jù)，而在后端優(yōu)化主要就是依靠圖優(yōu)化工具。而SLAM技術(shù)近年來(lái)的發(fā)展也已經(jīng)改變了這種技術(shù)策略。在過(guò)去的經(jīng)典策略中，為了求解LandMark和Location，將它轉(zhuǎn)化為一個(gè)稀疏圖的優(yōu)化，常常使用g2o工具來(lái)進(jìn)行圖優(yōu)化。下面是一些常用的工具和方法。
g2o、LUM、ELCH、Toro、SPA
SLAM方法：ICP、MBICP、IDC、likehood Field、 Cross Correlation、NDT
7. 目標(biāo)識(shí)別檢索
這是點(diǎn)云數(shù)據(jù)處理中一個(gè)偏應(yīng)用層面的問(wèn)題，簡(jiǎn)單說(shuō)來(lái)就是Hausdorff距離常被用來(lái)進(jìn)行深度圖的目標(biāo)識(shí)別和檢索，現(xiàn)在很多三維人臉識(shí)別都是用這種技術(shù)來(lái)做的。
8. 變化檢測(cè)
當(dāng)無(wú)序點(diǎn)云在連續(xù)變化中，八叉樹(shù)算法常常被用于檢測(cè)變化，這種算法需要和關(guān)鍵點(diǎn)提取技術(shù)結(jié)合起來(lái)，八叉樹(shù)算法也算是經(jīng)典中的經(jīng)典了。
9. 三維重建
我們獲取到的點(diǎn)云數(shù)據(jù)都是一個(gè)個(gè)孤立的點(diǎn)，如何從一個(gè)個(gè)孤立的點(diǎn)得到整個(gè)曲面呢，這就是三維重建的topic。
在玩kinectFusion時(shí)候，如果我們不懂，會(huì)發(fā)現(xiàn)曲面漸漸變平緩，這就是重建算法不斷迭代的效果。我們采集到的點(diǎn)云是充滿噪聲和孤立點(diǎn)的，三維重建算法為了重構(gòu)出曲面，常常要應(yīng)對(duì)這種噪聲，獲得看上去很舒服的曲面。
常用的三維重建算法和技術(shù)有：
泊松重建、Delauary triangulatoins
表面重建，人體重建，建筑物重建，輸入重建
實(shí)時(shí)重建：重建紙杯或者龍作物4D生長(zhǎng)臺(tái)式，人體姿勢(shì)識(shí)別，表情識(shí)別
10. 點(diǎn)云數(shù)據(jù)管理
點(diǎn)云壓縮，點(diǎn)云索引（KDtree、Octree），點(diǎn)云LOD（金字塔），海量點(diǎn)云的渲染
PCL庫(kù)簡(jiǎn)介
點(diǎn)云數(shù)據(jù)處理中，不僅涉及前段數(shù)據(jù)的輸入，中間數(shù)據(jù)和處理，還涉及到后端點(diǎn)云的渲染顯示，如果這些函數(shù)都要我們親自來(lái)實(shí)現(xiàn)，那么開(kāi)發(fā)效率必然受到極大影響。在點(diǎn)云數(shù)據(jù)處理領(lǐng)域，有一個(gè)不可或缺的助手：PCL (Point Cloud Library)。PCL在點(diǎn)云數(shù)據(jù)處理中的地位猶如OpenCV在圖像處理領(lǐng)域的地位，如果你接觸三維點(diǎn)云數(shù)據(jù)處理，那么PCL將大大簡(jiǎn)化你的開(kāi)發(fā)。
聲明：部分內(nèi)容來(lái)源于網(wǎng)絡(luò)，僅供讀者學(xué)習(xí)、交流之目的。文章版權(quán)歸原作者所有。如有不妥，請(qǐng)聯(lián)系刪除。
增強(qiáng)現(xiàn)實(shí)核心技術(shù)產(chǎn)業(yè)聯(lián)盟（ID：CARA--2019）
內(nèi)容來(lái)自：新機(jī)器視覺(jué)
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。
下載1
在「3D視覺(jué)工坊」公眾號(hào)后臺(tái)回復(fù)：3D視覺(jué)，即可下載 3D視覺(jué)相關(guān)資料干貨，涉及相機(jī)標(biāo)定、三維重建、立體視覺(jué)、SLAM、深度學(xué)習(xí)、點(diǎn)云后處理、多視圖幾何等方向。
下載2
在「3D視覺(jué)工坊」公眾號(hào)后臺(tái)回復(fù)：3D視覺(jué)github資源匯總，即可下載包括結(jié)構(gòu)光、標(biāo)定源碼、缺陷檢測(cè)源碼、深度估計(jì)與深度補(bǔ)全源碼、點(diǎn)云處理相關(guān)源碼、立體匹配源碼、單目、雙目3D檢測(cè)、基于點(diǎn)云的3D檢測(cè)、6D姿態(tài)估計(jì)源碼匯總等。
下載3
在「3D視覺(jué)工坊」公眾號(hào)后臺(tái)回復(fù)：相機(jī)標(biāo)定，即可下載獨(dú)家相機(jī)標(biāo)定學(xué)習(xí)課件與視頻網(wǎng)址；后臺(tái)回復(fù)：立體匹配，即可下載獨(dú)家立體匹配學(xué)習(xí)課件與視頻網(wǎng)址。
重磅！3DCVer-學(xué)術(shù)論文寫(xiě)作投稿?交流群已成立
掃碼添加小助手微信，可申請(qǐng)加入3D視覺(jué)工坊-學(xué)術(shù)論文寫(xiě)作與投稿?微信交流群，旨在交流頂會(huì)、頂刊、SCI、EI等寫(xiě)作與投稿事宜。
同時(shí)也可申請(qǐng)加入我們的細(xì)分方向交流群，目前主要有3D視覺(jué)、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、多傳感器融合、CV入門(mén)、三維測(cè)量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺(jué)產(chǎn)品落地、視覺(jué)競(jìng)賽、車(chē)牌識(shí)別、硬件選型、學(xué)術(shù)交流、求職交流、ORB-SLAM系列源碼交流、深度估計(jì)等微信群。
一定要備注：研究方向+學(xué)校/公司+昵稱(chēng)，例如：”3D視覺(jué)?+ 上海交大 + 靜靜“。請(qǐng)按照格式備注，可快速被通過(guò)且邀請(qǐng)進(jìn)群。原創(chuàng)投稿也請(qǐng)聯(lián)系。
▲長(zhǎng)按加微信群或投稿
▲長(zhǎng)按關(guān)注公眾號(hào)
3D視覺(jué)從入門(mén)到精通知識(shí)星球：針對(duì)3D視覺(jué)領(lǐng)域的視頻課程（三維重建系列、三維點(diǎn)云系列、結(jié)構(gòu)光系列、手眼標(biāo)定、相機(jī)標(biāo)定、orb-slam3等視頻課程）、知識(shí)點(diǎn)匯總、入門(mén)進(jìn)階學(xué)習(xí)路線、最新paper分享、疑問(wèn)解答五個(gè)方面進(jìn)行深耕，更有各類(lèi)大廠的算法工程人員進(jìn)行技術(shù)指導(dǎo)。與此同時(shí)，星球?qū)⒙?lián)合知名企業(yè)發(fā)布3D視覺(jué)相關(guān)算法開(kāi)發(fā)崗位以及項(xiàng)目對(duì)接信息，打造成集技術(shù)與就業(yè)為一體的鐵桿粉絲聚集區(qū)，近2000星球成員為創(chuàng)造更好的AI世界共同進(jìn)步，知識(shí)星球入口：
學(xué)習(xí)3D視覺(jué)核心技術(shù)，掃描查看介紹，3天內(nèi)無(wú)條件退款
?圈里有高質(zhì)量教程資料、可答疑解惑、助你高效解決問(wèn)題
覺(jué)得有用，麻煩給個(gè)贊和在看~??
總結(jié)
以上是生活随笔為你收集整理的3D视觉点云数据处理十大方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 从Ubuntu12.04LTS到Fore
- 下一篇： Clover Configurator