3D视觉点云数据处理十大方法
這篇博客主要介紹三維計(jì)算機(jī)視覺(jué)中點(diǎn)云數(shù)據(jù)處理面對(duì)的問(wèn)題,主要方法和技術(shù),概述其特點(diǎn)。
ICP點(diǎn)云配準(zhǔn)就是我們非常熟悉的點(diǎn)云處理算法之一。實(shí)際上點(diǎn)云數(shù)據(jù)在形狀檢測(cè)和分類(lèi)、立體視覺(jué)、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)、多視圖重建中都有廣泛的使用。點(diǎn)云的存儲(chǔ)、壓縮、渲染等問(wèn)題也是研究的熱點(diǎn)。隨著點(diǎn)云采集設(shè)備的普及、雙目立體視覺(jué)技術(shù)、VR和AR的發(fā)展,點(diǎn)云數(shù)據(jù)處理技術(shù)正成為最有前景的技術(shù)之一。PCL是三維點(diǎn)云數(shù)據(jù)處理領(lǐng)域必備的工具和基本技能,這篇博客也將粗略介紹。
三維點(diǎn)云數(shù)據(jù)處理方法
1. 點(diǎn)云濾波(數(shù)據(jù)預(yù)處理)
點(diǎn)云濾波,顧名思義,就是濾掉噪聲。原始采集的點(diǎn)云數(shù)據(jù)往往包含大量散列點(diǎn)、孤立點(diǎn),比如下圖為濾波前后的點(diǎn)云效果對(duì)比。
點(diǎn)云濾波的主要方法有:雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機(jī)采樣一致濾波、VoxelGrid濾波等,這些算法都被封裝在了PCL點(diǎn)云庫(kù)中。
2. 點(diǎn)云關(guān)鍵點(diǎn)
我們都知道在二維圖像上,有Harris、SIFT、SURF、KAZE這樣的關(guān)鍵點(diǎn)提取算法,這種特征點(diǎn)的思想可以推廣到三維空間。從技術(shù)上來(lái)說(shuō),關(guān)鍵點(diǎn)的數(shù)量相比于原始點(diǎn)云或圖像的數(shù)據(jù)量減小很多,與局部特征描述子結(jié)合在一起,組成關(guān)鍵點(diǎn)描述子常用來(lái)形成原始數(shù)據(jù)的表示,而且不失代表性和描述性,從而加快了后續(xù)的識(shí)別,追蹤等對(duì)數(shù)據(jù)的處理了速度,故而,關(guān)鍵點(diǎn)技術(shù)成為在2D和3D 信息處理中非常關(guān)鍵的技術(shù)。
常見(jiàn)的三維點(diǎn)云關(guān)鍵點(diǎn)提取算法有一下幾種:ISS3D、Harris3D、NARF、SIFT3D
這些算法在PCL庫(kù)中都有實(shí)現(xiàn),其中NARF算法是博主見(jiàn)過(guò)用的比較多的。
3. 特征和特征描述
如果要對(duì)一個(gè)三維點(diǎn)云進(jìn)行描述,光有點(diǎn)云的位置是不夠的,常常需要計(jì)算一些額外的參數(shù),比如法線方向、曲率、文理特征等等。如同圖像的特征一樣,我們需要使用類(lèi)似的方式來(lái)描述三維點(diǎn)云的特征。
常用的特征描述算法有:法線和曲率計(jì)算、特征值分析、PFH、FPFH、3D Shape Context、Spin Image等。
PFH:點(diǎn)特征直方圖描述子,FPFH:跨蘇點(diǎn)特征直方圖描述子,FPFH是PFH的簡(jiǎn)化形式。這里不提供具體描述了,具體細(xì)節(jié)去谷歌吧。
4. 點(diǎn)云配準(zhǔn)
點(diǎn)云配準(zhǔn)的概念也可以類(lèi)比于二維圖像中的配準(zhǔn),只不過(guò)二維圖像配準(zhǔn)獲取得到的是x,y,alpha,beta等放射變化參數(shù),二三維點(diǎn)云配準(zhǔn)可以模擬三維點(diǎn)云的移動(dòng)和對(duì)其,也就是會(huì)獲得一個(gè)旋轉(zhuǎn)矩陣和一個(gè)平移向量,通常表達(dá)為一個(gè)4×3的矩陣,其中3×3是旋轉(zhuǎn)矩陣,1*3是平移向量。嚴(yán)格說(shuō)來(lái)是6個(gè)參數(shù),因?yàn)樾D(zhuǎn)矩陣也可以通過(guò)羅格里德斯變換轉(zhuǎn)變成1*3的旋轉(zhuǎn)向量。
常用的點(diǎn)云配準(zhǔn)算法有兩種:正太分布變換和著名的ICP點(diǎn)云配準(zhǔn),此外還有許多其它算法,列舉如下:
ICP:穩(wěn)健ICP、point to plane ICP、point to line ICP、MBICP、GICP
NDT 3D、Multil-Layer NDT
FPCS、KFPSC、SAC-IA
Line Segment Matching、ICL
5. 點(diǎn)云分割與分類(lèi)
點(diǎn)云的分割與分類(lèi)也算是一個(gè)大Topic了,這里因?yàn)槎嗔艘痪S就和二維圖像比多了許多問(wèn)題,點(diǎn)云分割又分為區(qū)域提取、線面提取、語(yǔ)義分割與聚類(lèi)等。同樣是分割問(wèn)題,點(diǎn)云分割涉及面太廣,確實(shí)是三言兩語(yǔ)說(shuō)不清楚的。只有從字面意思去理解了,遇到具體問(wèn)題再具體歸類(lèi)。一般說(shuō)來(lái),點(diǎn)云分割是目標(biāo)識(shí)別的基礎(chǔ)。
分割:區(qū)域聲場(chǎng)、Ransac線面提取、NDT-RANSAC、K-Means、Normalize Cut、3D Hough Transform(線面提取)、連通分析
分類(lèi):基于點(diǎn)的分類(lèi),基于分割的分類(lèi),監(jiān)督分類(lèi)與非監(jiān)督分類(lèi)
6. SLAM圖優(yōu)化
SLAM又是大Topic,SLAM技術(shù)中,在圖像前端主要獲取點(diǎn)云數(shù)據(jù),而在后端優(yōu)化主要就是依靠圖優(yōu)化工具。而SLAM技術(shù)近年來(lái)的發(fā)展也已經(jīng)改變了這種技術(shù)策略。在過(guò)去的經(jīng)典策略中,為了求解LandMark和Location,將它轉(zhuǎn)化為一個(gè)稀疏圖的優(yōu)化,常常使用g2o工具來(lái)進(jìn)行圖優(yōu)化。下面是一些常用的工具和方法。
g2o、LUM、ELCH、Toro、SPA
SLAM方法:ICP、MBICP、IDC、likehood Field、 Cross Correlation、NDT
7. 目標(biāo)識(shí)別檢索
這是點(diǎn)云數(shù)據(jù)處理中一個(gè)偏應(yīng)用層面的問(wèn)題,簡(jiǎn)單說(shuō)來(lái)就是Hausdorff距離常被用來(lái)進(jìn)行深度圖的目標(biāo)識(shí)別和檢索,現(xiàn)在很多三維人臉識(shí)別都是用這種技術(shù)來(lái)做的。
8. 變化檢測(cè)
當(dāng)無(wú)序點(diǎn)云在連續(xù)變化中,八叉樹(shù)算法常常被用于檢測(cè)變化,這種算法需要和關(guān)鍵點(diǎn)提取技術(shù)結(jié)合起來(lái),八叉樹(shù)算法也算是經(jīng)典中的經(jīng)典了。
9. 三維重建
我們獲取到的點(diǎn)云數(shù)據(jù)都是一個(gè)個(gè)孤立的點(diǎn),如何從一個(gè)個(gè)孤立的點(diǎn)得到整個(gè)曲面呢,這就是三維重建的topic。
在玩kinectFusion時(shí)候,如果我們不懂,會(huì)發(fā)現(xiàn)曲面漸漸變平緩,這就是重建算法不斷迭代的效果。我們采集到的點(diǎn)云是充滿噪聲和孤立點(diǎn)的,三維重建算法為了重構(gòu)出曲面,常常要應(yīng)對(duì)這種噪聲,獲得看上去很舒服的曲面。
常用的三維重建算法和技術(shù)有:
泊松重建、Delauary triangulatoins
表面重建,人體重建,建筑物重建,輸入重建
實(shí)時(shí)重建:重建紙杯或者龍作物4D生長(zhǎng)臺(tái)式,人體姿勢(shì)識(shí)別,表情識(shí)別
10. 點(diǎn)云數(shù)據(jù)管理
點(diǎn)云壓縮,點(diǎn)云索引(KDtree、Octree),點(diǎn)云LOD(金字塔),海量點(diǎn)云的渲染
PCL庫(kù)簡(jiǎn)介
點(diǎn)云數(shù)據(jù)處理中,不僅涉及前段數(shù)據(jù)的輸入,中間數(shù)據(jù)和處理,還涉及到后端點(diǎn)云的渲染顯示,如果這些函數(shù)都要我們親自來(lái)實(shí)現(xiàn),那么開(kāi)發(fā)效率必然受到極大影響。在點(diǎn)云數(shù)據(jù)處理領(lǐng)域,有一個(gè)不可或缺的助手:PCL (Point Cloud Library)。PCL在點(diǎn)云數(shù)據(jù)處理中的地位猶如OpenCV在圖像處理領(lǐng)域的地位,如果你接觸三維點(diǎn)云數(shù)據(jù)處理,那么PCL將大大簡(jiǎn)化你的開(kāi)發(fā)。
聲明:部分內(nèi)容來(lái)源于網(wǎng)絡(luò),僅供讀者學(xué)習(xí)、交流之目的。文章版權(quán)歸原作者所有。如有不妥,請(qǐng)聯(lián)系刪除。
增強(qiáng)現(xiàn)實(shí)核心技術(shù)產(chǎn)業(yè)聯(lián)盟(ID:CARA--2019)
內(nèi)容來(lái)自:新機(jī)器視覺(jué)
本文僅做學(xué)術(shù)分享,如有侵權(quán),請(qǐng)聯(lián)系刪文。
下載1
在「3D視覺(jué)工坊」公眾號(hào)后臺(tái)回復(fù):3D視覺(jué),即可下載 3D視覺(jué)相關(guān)資料干貨,涉及相機(jī)標(biāo)定、三維重建、立體視覺(jué)、SLAM、深度學(xué)習(xí)、點(diǎn)云后處理、多視圖幾何等方向。
下載2
在「3D視覺(jué)工坊」公眾號(hào)后臺(tái)回復(fù):3D視覺(jué)github資源匯總,即可下載包括結(jié)構(gòu)光、標(biāo)定源碼、缺陷檢測(cè)源碼、深度估計(jì)與深度補(bǔ)全源碼、點(diǎn)云處理相關(guān)源碼、立體匹配源碼、單目、雙目3D檢測(cè)、基于點(diǎn)云的3D檢測(cè)、6D姿態(tài)估計(jì)源碼匯總等。
下載3
在「3D視覺(jué)工坊」公眾號(hào)后臺(tái)回復(fù):相機(jī)標(biāo)定,即可下載獨(dú)家相機(jī)標(biāo)定學(xué)習(xí)課件與視頻網(wǎng)址;后臺(tái)回復(fù):立體匹配,即可下載獨(dú)家立體匹配學(xué)習(xí)課件與視頻網(wǎng)址。
重磅!3DCVer-學(xué)術(shù)論文寫(xiě)作投稿?交流群已成立
掃碼添加小助手微信,可申請(qǐng)加入3D視覺(jué)工坊-學(xué)術(shù)論文寫(xiě)作與投稿?微信交流群,旨在交流頂會(huì)、頂刊、SCI、EI等寫(xiě)作與投稿事宜。
同時(shí)也可申請(qǐng)加入我們的細(xì)分方向交流群,目前主要有3D視覺(jué)、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、多傳感器融合、CV入門(mén)、三維測(cè)量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺(jué)產(chǎn)品落地、視覺(jué)競(jìng)賽、車(chē)牌識(shí)別、硬件選型、學(xué)術(shù)交流、求職交流、ORB-SLAM系列源碼交流、深度估計(jì)等微信群。
一定要備注:研究方向+學(xué)校/公司+昵稱(chēng),例如:”3D視覺(jué)?+ 上海交大 + 靜靜“。請(qǐng)按照格式備注,可快速被通過(guò)且邀請(qǐng)進(jìn)群。原創(chuàng)投稿也請(qǐng)聯(lián)系。
▲長(zhǎng)按加微信群或投稿
▲長(zhǎng)按關(guān)注公眾號(hào)
3D視覺(jué)從入門(mén)到精通知識(shí)星球:針對(duì)3D視覺(jué)領(lǐng)域的視頻課程(三維重建系列、三維點(diǎn)云系列、結(jié)構(gòu)光系列、手眼標(biāo)定、相機(jī)標(biāo)定、orb-slam3等視頻課程)、知識(shí)點(diǎn)匯總、入門(mén)進(jìn)階學(xué)習(xí)路線、最新paper分享、疑問(wèn)解答五個(gè)方面進(jìn)行深耕,更有各類(lèi)大廠的算法工程人員進(jìn)行技術(shù)指導(dǎo)。與此同時(shí),星球?qū)⒙?lián)合知名企業(yè)發(fā)布3D視覺(jué)相關(guān)算法開(kāi)發(fā)崗位以及項(xiàng)目對(duì)接信息,打造成集技術(shù)與就業(yè)為一體的鐵桿粉絲聚集區(qū),近2000星球成員為創(chuàng)造更好的AI世界共同進(jìn)步,知識(shí)星球入口:
學(xué)習(xí)3D視覺(jué)核心技術(shù),掃描查看介紹,3天內(nèi)無(wú)條件退款
?圈里有高質(zhì)量教程資料、可答疑解惑、助你高效解決問(wèn)題
覺(jué)得有用,麻煩給個(gè)贊和在看~??
總結(jié)
以上是生活随笔為你收集整理的3D视觉点云数据处理十大方法的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 从Ubuntu12.04LTS到Fore
- 下一篇: Clover Configurator