shapenet网络_GRNet网络：3D网格进行点云卷积，实现点云补全
Date：2020-11-23
作者：三弟
來源：GRNet網(wǎng)絡(luò)：3D網(wǎng)格進(jìn)行點(diǎn)云卷積，實(shí)現(xiàn)點(diǎn)云補(bǔ)全
Gridding Residual Network for Dense Point Cloud Completion
在點(diǎn)云分割方面，有一些方法嘗試通過更通用的卷積操作來捕捉點(diǎn)云的空間關(guān)系。但是之前的方法都是基于一個(gè)強(qiáng)烈的假設(shè)，即輸出點(diǎn)與輸入點(diǎn)的三維坐標(biāo)的相同，因此不能用于三維點(diǎn)云補(bǔ)全。
為了解決上述問題，我們引入3D網(wǎng)格作為中間的表征來規(guī)范化無序點(diǎn)云，從而明確地保留了點(diǎn)云的結(jié)構(gòu)和背景。因此，我們提出了一種新的點(diǎn)云完成的網(wǎng)格化殘差網(wǎng)絡(luò)(GRNet)。除了3D CNN和MLP，我們?cè)O(shè)計(jì)了三個(gè)可微層。Gridding, Gridding Reverse, 和三次特征采樣。在Gridding中，對(duì)于點(diǎn)云中的每個(gè)點(diǎn)，該點(diǎn)所在的三維網(wǎng)格單元的八個(gè)頂點(diǎn)先使用插值函數(shù)進(jìn)行加權(quán)，該函數(shù)明確地測(cè)量了幾何學(xué)上的點(diǎn)云的關(guān)系。然后引入了3D網(wǎng)格作為中間表示來規(guī)整無序點(diǎn)云，它明確地保留了點(diǎn)云的結(jié)構(gòu)和局部關(guān)系。接下來，Gridding Reverse將輸出的三維網(wǎng)格轉(zhuǎn)換為粗點(diǎn)云，將每個(gè)三維網(wǎng)格單元替換為一個(gè)新點(diǎn)，其坐標(biāo)為三維網(wǎng)格單元八個(gè)頂點(diǎn)的加權(quán)和。接下來的三次特征采樣通過將該點(diǎn)所在的三維網(wǎng)格單元對(duì)應(yīng)的八個(gè)頂點(diǎn)的特征進(jìn)行串聯(lián)，提取粗點(diǎn)云中每個(gè)點(diǎn)的特征。粗點(diǎn)云和特征送入到MLP，得到最終補(bǔ)全的點(diǎn)云。本文的貢獻(xiàn)如下。我們創(chuàng)新性地引入了3D網(wǎng)格作為中間表征來規(guī)范化無序點(diǎn)云，明確地保留了點(diǎn)云的結(jié)構(gòu)和背景下的點(diǎn)云。
我們提出了一種新型的用于點(diǎn)云完成的網(wǎng)格化剩余網(wǎng)絡(luò)(GRNet)。我們?cè)O(shè)計(jì)了三個(gè)可區(qū)分的層。Gridding, Gridding Reverse, and Cubic Feature Sampling, as well as a new Gridding Loss.
在ShapeNet、 Completion3D和KITTI基準(zhǔn)上進(jìn)行了廣泛的實(shí)驗(yàn)，結(jié)果表明，所提出的GRNet與最先進(jìn)的方法相比表現(xiàn)良好。
網(wǎng)格殘差網(wǎng)絡(luò)
GRNet 在以粗糙到精細(xì)的方式從不完整的點(diǎn)云中恢復(fù)完整的點(diǎn)云。 它由五個(gè)部分組成，分別是網(wǎng)格化、3D卷積神經(jīng)網(wǎng)絡(luò)、反向網(wǎng)格化、立方特征采樣和多層感知器，如圖1所示。
網(wǎng)格化
3D卷積神經(jīng)網(wǎng)絡(luò)
逆網(wǎng)格化
三次特征采樣
在 GRNet 中，三次特征采樣通過 3DCNN 前三個(gè)轉(zhuǎn)置卷積層，從特征圖中提取點(diǎn)特征。為了減少特征的冗余并生成固定數(shù)量的點(diǎn)，我們從粗糙點(diǎn)云 中隨機(jī)采樣2,048個(gè)點(diǎn)。所以，它會(huì)生成大小為2048×1792的特征圖。
多層感知器
網(wǎng)格損失
實(shí)驗(yàn)
作者在 ShapeNet、Completion3D 和 KITTI 三個(gè)數(shù)據(jù)及分別進(jìn)行了實(shí)驗(yàn)，并且與 PCN 等方法進(jìn)行了比較。在度量指標(biāo)上，作者認(rèn)為只用 Chamfer 距離不能客觀的評(píng)價(jià)補(bǔ)全的點(diǎn)云，事實(shí)上 Chamfer 距離在數(shù)值上及時(shí)較低，預(yù)測(cè)的點(diǎn)云可能并沒有一個(gè)很好的分布，因此作者同時(shí)考慮了用 F-Score 作為量化指標(biāo)。
量化指標(biāo)
數(shù)據(jù)集
ShapeNet：最初在 ShapeNet 數(shù)據(jù)集是 PCN 的工作，由來自8個(gè)類別的30,974個(gè)3D模型組成。真實(shí)值在網(wǎng)格表面上均勻采樣 16,384個(gè)點(diǎn)。部分點(diǎn)云是通過反投影2.5D深度映射到3D。
Completion3D：Completion3D 實(shí)驗(yàn)機(jī)[11]由28,974個(gè)和800個(gè)樣本分別進(jìn)行訓(xùn)練和驗(yàn)證。與 PCN 方法的ShapeNet 數(shù)據(jù)集不同的是，真實(shí)點(diǎn)云上只有2,048個(gè)點(diǎn)。
在 ShapeNet 上可視化結(jié)果，最左邊是輸入，最右側(cè)是 Groud Truth，倒數(shù)第二列是本文 GRNet 的結(jié)果。
KITTI：KITTI 數(shù)據(jù)集由現(xiàn)實(shí)世界的 Velodyne LiDAR掃描序列組成，也是從 PCN 中獲得。對(duì)于每一幀，汽車是根據(jù)3D邊界框提取的，從而獲得 2,401個(gè)局部點(diǎn)云。KITTI中的局部點(diǎn)云非常稀疏，并且不有完整的點(diǎn)云作為真實(shí)值。在 KITTI 雷達(dá)掃描的可視化結(jié)果。
更多干貨
歡迎加入【3D視覺工坊】交流群，方向涉及3D視覺、計(jì)算機(jī)視覺、深度學(xué)習(xí)、vSLAM、激光SLAM、立體視覺、自動(dòng)駕駛、點(diǎn)云處理、三維重建、多視圖幾何、結(jié)構(gòu)光、多傳感器融合、VR/AR、學(xué)術(shù)交流、求職交流等。工坊致力于干貨輸出，為3D領(lǐng)域貢獻(xiàn)自己的力量！歡迎大家一起交流成長(zhǎng)~
添加小助手微信：CV_LAB，備注學(xué)校/公司+姓名+研究方向即可加入工坊一起學(xué)習(xí)進(jìn)步。
總結(jié)
以上是生活随笔為你收集整理的shapenet网络_GRNet网络：3D网格进行点云卷积，实现点云补全的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
