S121：采用Kintinuous框架，進行視覺里程計估計，得到每幀深度圖像下的相機位姿信息。

S122：根據(jù)相機位姿信息，將由每幀深度圖像對應(yīng)的點云數(shù)據(jù)反投影到初始坐標(biāo)系下，用投影后得到的深度圖像與初始幀的深度圖像進行相似度比較，并當(dāng)相似度低于相似度閾值時，初始化相機位姿，進行分段。

S123：提取每一分段點云數(shù)據(jù)中的PFFH幾何描述子，并在每兩段之間進行粗配準，以及采用GICP算法進行精配準，得到段與段之間的匹配關(guān)系。

本步驟對段與段之間做閉環(huán)檢測。

S124：利用每一分段的位姿信息以及段與段之間的匹配關(guān)系，構(gòu)建圖并采用G2O框架進行圖優(yōu)化，得到優(yōu)化后的相機軌跡信息，從而實現(xiàn)全局優(yōu)化。

本步驟在優(yōu)化時應(yīng)用(Simultaneous Localization and Calibration,SLAC)模式改善非剛性畸變，引入line processes約束刪除錯誤的閉環(huán)匹配。

上述步驟S122還可以具體包括：

S1221：計算每幀深度圖像與第一幀深度圖像的相似度。

S1222：判斷該相似度是否低于相似度閾值，若是，則執(zhí)行步驟S1223；否則，執(zhí)行步驟S1224。

S1223：對深度圖像序列進行分段。

本步驟基于視覺內(nèi)容對深度圖像序列進行分段處理。這樣既可以有效地解決視覺里程計估計產(chǎn)生的累積誤差問題，又可以將相似的內(nèi)容融合在一起，從而提高配準精度。

S1224：對深度圖像序列不進行分段。

S1225：將下一幀深度圖像作為下一分段的起始幀深度圖像，并重復(fù)執(zhí)行步驟S1221和步驟S1222，直至處理完所有幀深度圖像。

在上述實施例中，計算每幀深度圖像與第一幀深度圖像的相似度的步驟具體可以包括：

S12211：根據(jù)投影關(guān)系和任一幀深度圖像的深度值，并利用下式計算深度圖像上每個像素所對應(yīng)的第一空間三維點：

p＝π-1(up,Z(up))

其中，up是深度圖像上的任一像素；Z(up)和p分別表示up對應(yīng)的深度值和第一空間三維點；π表示投影關(guān)系，即每幀深度圖像對應(yīng)的點云數(shù)據(jù)反投影到初始坐標(biāo)系下的2D-3D投影變換關(guān)系。

S12212：根據(jù)下式將第一空間三維點旋轉(zhuǎn)平移變換到世界坐標(biāo)系下，得到第二空間三維點：

q＝Tip

其中，Ti表示第i幀深度圖對應(yīng)空間三維點到世界坐標(biāo)系下的旋轉(zhuǎn)平移矩陣，其可以通過視覺里程計估計得到；i取正整數(shù)；p表示第一空間三維點，q表示第二空間三維點，p和q的坐標(biāo)分別為：

p＝(xp,yp,zp)，q＝(xq,yq,zq)。

S12213：根據(jù)下式將第二空間三維點反投影到二維圖像平面，得到投影后的深度圖像：

其中，uq是q對應(yīng)的投影后深度圖像上的像素；fx、fy、cx和cy表示深度相機的內(nèi)參；xq、yq、zq表示q的坐標(biāo)；T表示矩陣的轉(zhuǎn)置。

S12214：分別計算起始幀深度圖像和任一幀投影后的深度圖像上的有效像素個數(shù)，并將兩者比值作為相似度。

舉例來說，根據(jù)下式來計算相似度：

其中，n0和ni分別表示起始幀深度圖像和任一幀投影后的深度圖像上的有效像素個數(shù)；ρ表示相似度。

圖3示例性地示出了基于視覺內(nèi)容分段融合、配準的流程示意圖。

本發(fā)明實施例采用基于視覺內(nèi)容自動分段算法，能有效降低視覺里程計估計中的累積誤差，提高了配準精度。

S130：根據(jù)處理結(jié)果，進行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場景三維模型。

具體地，本步驟可以包括：根據(jù)基于視覺內(nèi)容的分塊融合和配準處理結(jié)果，利用截斷符號距離函數(shù)(TSDF)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場景三維模型。

本步驟還可以進一步包括：

S131：基于噪聲特點與興趣區(qū)域，利用Volumetric method框架進行截斷符號距離函數(shù)數(shù)據(jù)加權(quán)融合。

S132：采用Marching cubes算法進行Mesh模型提取。

在實際應(yīng)用中，可以根據(jù)視覺里程計的估計結(jié)果，利用TSDF網(wǎng)格模型融合各幀的深度圖像使用分辨率為m的體素網(wǎng)格來表示三維空間，即每個三維空間被分為m塊，每個網(wǎng)格v存儲兩個值：截斷符號距離函數(shù)fi(v)及其權(quán)重wi(v)。

其中，可以根據(jù)下式來確定截斷符號距離函數(shù)：

fi(v)＝[K-1zi(u)[uT,1]T]z-[vi]z

其中，fi(v)表示截斷符號距離函數(shù)，也即網(wǎng)格到物體模型表面的距離，正負表示該網(wǎng)格是在表面被遮擋一側(cè)還是在可見一側(cè)，而過零點就是表面上的點；K表示相機的內(nèi)參數(shù)矩陣；u表示像素；zi(u)表示像素u對應(yīng)的深度值；vi表示體素。其中，該相機可以為深度相機或深度攝像機。

其中，可以根據(jù)下式進行數(shù)據(jù)加權(quán)融合：

其中，fi(v)和wi(v)分別表示體素v對應(yīng)的截斷符號距離函數(shù)(TSDF)及其權(quán)值函數(shù)；n取正整數(shù)；F(v)表示融合后體素v所對應(yīng)的截斷符號距離函數(shù)值；W(v)表示融合后體素v所對應(yīng)的截斷符號距離函數(shù)值的權(quán)重。

在上述實施例中，權(quán)值函數(shù)可以根據(jù)深度數(shù)據(jù)的噪聲特點以及興趣區(qū)域來確定，其值是不固定的。為了保持物體表面的幾何細節(jié)，將噪聲小的區(qū)域以及感興趣區(qū)域的權(quán)值設(shè)置得大，將噪聲大的區(qū)域或不感興趣區(qū)域的權(quán)值設(shè)置得小。

具體地，權(quán)值函數(shù)可以根據(jù)下式來確定：

其中，di表示興趣區(qū)域的半徑，半徑越小表示越感興趣，權(quán)值越大；δs是深度數(shù)據(jù)中的噪聲方差，其取值與自適應(yīng)雙邊濾波算法空間域核函數(shù)的方差一致；w為常數(shù)，優(yōu)選地，其可以取值為1或0。

圖4示例性地示出了加權(quán)體數(shù)據(jù)融合過程示意圖。

本發(fā)明實施例采用加權(quán)體數(shù)據(jù)融合算法可以有效保持物體表面的幾何細節(jié)，能夠得到完整、準確、精細化的室內(nèi)場景模型，具有良好的魯棒性和擴展性。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的深度相机 物体三维重建_基于深度相机进行室内完整场景三维重建的方法及系统_2017100513665_说明书_专利查询_专利网_钻瓜专利网...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。