點云PCL免費知識星球，點云論文速讀。

文章：Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images

作者：Teo T. Niemirepo, Marko Viitanen, and Jarno Vanne

編譯：點云PCL

代碼：https://github.com/ultravideo/Open3DGen.git

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。文章僅做學術分享，如有侵權聯系刪文。未經博主同意請勿擅自轉載。

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

本文介紹了第一個完全開源的跨平臺軟件Open3DGen，用于從RGB-D圖像重建照片級具有真實感的3D模型，該軟件流程上包括九個主要階段：1）RGBD采集；2） 二維特征提取；3） 攝像機姿態估計；4） 點云生成；5） 粗網格重建；6） 可選環路閉和檢測；7） 精細化網格重建；8） UV展開；9）紋理投影。此端到端方案結合了多種最先進的技術，并為實時三維模型重建和離線紋理映射提供了易于使用的軟件包。主要創新在于各種運動結構（SfM）技術，這些技術與其他深度數據一起使用，以實時和低成本生成高質量的3D模型。Open3DGen的功能已在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上驗證，驗證了設置在不使用脫機后端的情況下，720p（1280×720）RGBD輸入的平均處理速度為15 fps，我們的解決方案通過最先進的商業和學術解決方案提供具有競爭力的3D網格質量和運行效率。

主要貢獻

表1描述了用于3D數據捕獲、重建和紋理映射的最著名的軟件框架，它們可以分為攝影測量、SLAM和基于RGB-D的三維掃描方法。

本文提出了一種端到端的三維重建軟件Open3DGen，該軟件采用SLAM和攝影測量方案的特征，以便從RGB-D圖像快速生成精確的真實感紋理三維模型，據我們所知，這是第一個完全開源和跨平臺的軟件實現，用于1）實時3D網格重建和2）相關離線紋理映射。

圖1概述了提出的Open3DGen流程，該流程以模塊化和靈活的方式整合了3D捕獲過程的所有階段，所采用的圖像處理算法傾向于在文獻中進行全面的研究和記錄，但它們的實現往往缺乏功能、可用性或許可。這項工作特別涉及這些算法的實現方面，并試圖提供一個開放、準確、易于使用的軟件包，方便地與消費級RGB-D相機配合使用。

圖1:Open3DGen流程的主要處理模塊

主要內容

該方案可分為兩個主要部分：

1）實時前端用于RGB-D數據捕獲和帶有頂點顏色的粗略三維模型重建；

2）離線后端用于模型細化和紋理映射，粗網格生成的前五個階段可以實時完成，以立即向用戶提供重建模型的近似值。

圖2顯示了測試RGB-D圖像序列的流程操作

表2列出了所采用算法及其實現的分類

A. ?Open3DGen：前端

實時前端包括以下五個主要階段：

1）RGB-D采集；

2） 二維特征提取；

3） 攝像機姿態估計；

4） 點云生成；

5）粗網格重建。

B. ?Open3DGen：后端

該方法的離線后端由四個階段組成：1）循環閉合和相機姿勢優化；2） 網格重建；3） UV展開, 4）紋理投影。然而，環路閉合和攝像機姿勢優化是一個可選模塊。

在這四個階段之間，可以導出生成的點云或三維網格以進行手動處理，手動優化網格拓撲或使用自動化解決方案可以獲得更好的結果，然后，可以將編輯的網格重新導入流程中以進行紋理投影，如果深度數據特別嘈雜且具有大量異常值，則在紋理投影之前編輯原始網格或點云數據也很有用。

圖3：茶壺的網格三角形拓撲

實驗

實驗的輸入RGB-D圖像是用Intel RealSense D435相機拍攝的，基準測試是在配備AMD Ryzen 3900X處理器和Nvidia GTX1080顯卡的臺式工作站上進行的，操作系統是Ubuntu Linux 20.04。

圖4：三個測試場景的重建質量比較 (a) Metashape. (b) Meshroom. (c) Open3DGen.

表3:Metashape、Meshroom和Open3DGen之間的性能比較

總結

本文介紹了一個完全開源的跨平臺軟件Open3DGen，用于從RGB-D圖像重建高質量的紋理三維模型，?提出的Open3DGen流程由用于粗略三維模型重建的實時前端和用于模型細化和紋理映射的離線后端組成，該系統在不同的操作條件下，具有多方面的輸入，具有很強的魯棒性，生成的三維模型可以在各種計算機圖形學和其他三維應用程序中使用，Open3DGen的概念驗證設置能夠在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上以15 fps的平均處理速度從720p RGB-D輸入重建粗略的3D模型。結果表明，在處理時間的一小部分內，其質量可與最先進的攝影測量軟件媲美或超過該軟件，未來，Open3DGen CLI將升級為直觀的圖形用戶界面（GUI），Open3DGen流程的后端將進行實時處理優化，完全實時的Open3DGen軟件可用于將下一代交互式和實時應用程序的用戶體驗提升到更高的沉浸度。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的Open3DGen：从RGB-D图像重建纹理3D模型的开源软件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。