騰訊 AI Lab 與復旦大學、普林斯頓大學、Intel Labs 合作提出一種端對端的深度學習框架，可從單張彩色圖片直接生成三維網格（3d mesh)。該研究論文被頂級會議 ECCV 2018 收錄，以下是技術詳細解讀。

ECCV（European Conference on Computer Vision，計算機視覺歐洲大會）將于 9 月 8 日-14 日在德國慕尼黑舉辦，該會議與 CVPR、ICCV 共稱為計算機視覺領域三大頂級學術會議，每年錄用論文約 300 篇。騰訊 AI Lab 是第二次參與該會議，錄取文章數高達 19 篇，位居國內前列。在剛結束的計算機視覺領域另外兩大會議 CVPR，ICCV 中也收獲頗豐，分別錄取 21 篇和 7 篇論文。

■?論文 | Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images

■ 鏈接 | https://www.paperweekly.site/papers/2283

■ 源碼 |?https://github.com/nywang16/Pixel2Mesh

該論文由復旦大學、普林斯頓大學、Intel Labs 和騰訊 AI Lab 合作完成。文章提出了一種端到端的深度學習框架，可從單張彩色圖片直接生成三維網格（3D Mesh）。

受深度神經網絡特性的限制，以前的方法通常用 volume 或者 point cloud 表示三維形狀，將它們轉換為更易于使用的 mesh 并非易事。與現有方法不同，本文使用圖卷積神經網絡表示 3D mesh，利用從輸入圖像中提取的特征逐步對橢球進行變形從而產生正確的幾何形狀。本文使用由粗到精的模式進行生成，使得整個變形過程更加穩定。

此外，本文還定義了幾種與 mesh 相關的損失函數捕捉不同級別的特性，以保證視覺上有吸引力并且物理上高重建精度。大量實驗表明，本文的方法不僅定性上可以生成細節更加充分的 mesh 模型，而且與當前最好的方法相比也實現了更高的重建精度。?

三維數據有多種表示形式，包括 volume、point cloud、mesh 等。volume 是一種規則的數據結構，即將物體表示為的 N3 格子，受分辨率和表達能力限制，這種表示方法通常缺乏細節。

point cloud 是一種不規則的數據結構，由于點之間沒有局部連結關系，點云往往缺乏物體的表面信息；3D Mesh 同樣是一種不規則的數據結構，由點、邊和面組成，由于其輕量、形狀細節豐富等特性，在虛擬現實、動畫游戲、生產制造等實際產業中應用越來越廣泛，本文研究如何從單張 RGB 圖重建出對應的 3D mesh 模型。

模型架構

▲?Figure 1: Pixel2Mesh的架構

Pixel2Mesh 的架構如圖 1 所示。對于輸入圖像，設計一個多層的卷積神經網絡，用于提取圖片不同層次的特征。對于輸出三維網格，設計了 3 個級聯的變形模塊，由圖神經網絡構成。Perceptual feature pooling 層可根據網格頂點坐標得到投影的圖片特征，然后根據此特征不斷對初始的橢球進行變形，以逼近真實形狀。Graph unpooling 層用于增加三維網格節點和邊的數量。

本文的目的在于提出一種生成結果光滑、重建精度高的利用單張彩色圖生成物體三維網格模型的方法。本文沒有直接采用生成 3D Mesh 的方法，而是采用將一個固定的橢球依據圖像特征逐漸形變成目標形狀的策略。本文針對兩個三維網格重建難點給出了解決方案：

1. 3D Mesh 的表示問題—引入圖卷積神經網絡。3D mesh 一般使用非規則數據形式—圖（Graph）來表示，而同時整個網絡還需要對其輸入的規則的圖像數據進行特征抽取。本文使用圖卷積網絡（GCN）來處理三維網格，使用類似于 VGG-16 的網絡來提取二維圖像特征。為了將兩者聯系在一起，設計了一個投影層使得網格中的每個節點能對應獲取相應的二維圖像的特征。

上圖（a）中 P 是從輸入圖片得來的特征，是頂點的位置，兩者組合可得到相應的投影特征，再與 GCN 的特征簡單合并送入網格形變模塊（Mesh Deformation Block）中。整個網絡包含若干該模塊。上圖（b）是依據相機參數進行投影的示意圖。

2. 如何有效地更新網格的形狀—引入圖的上池化層。實驗發現，直接訓練網絡使其預測 mesh 的效果并不好。一個原因是如果直接預測較大數量的點的網格，頂點的感受野會有受限，即 mesh 的頂點無法有效地檢索鄰近頂點的特征。為了解決這個問題，本文設計了一個圖的上池化層（Graph unpooling layer），使得點的數量逐漸由少到多，相應的網格形狀由粗到細，既保留了全局信息，又具有細節的表達。

上圖是圖的上池化過程。（a）中的黑色頂點即為新增的頂點，連接的虛線即為新增的邊。這是 Edge-based 的方式，還有一種 Face-based 的方式，即在每個三角形中心添加一個頂點，但這樣會造成網格頂點不均衡的問題，如（b）所示。在實際操作中，每個新增的點位于舊三角形的邊的中點位置，特征的值取相鄰兩頂點的均值。

損失函數

本文定義了四種不同的損失函數來促使網格更好地形變。

1. Chamfer 損失函數：其作用是限制網格頂點的具體位置；

2. Normal 損失函數：其作用是增強網格表面法向的一致性（增加表面光滑度）；

3. Laplacian 正則化：其作用是在形變時維持臨近頂點的相對位置；

4. Edge length 正則化：其作用是防止個別異常頂點的出現。

本方法對輸入圖像進行的三維網格建模的結果：

▲?Qualitative results. (a) Input image; (b) Volume from 3D-R2N2 [1], converted using Marching Cube [4]; (c) Point cloud from PSG [2], converted using ball pivoting [5]; (d) N3MR[3]; (e) Ours; (f) Ground truth.

實驗結果

F-score (%)

本文提出的方法在 ShapeNet 測試數據集上的表現，除了當閾值為時在 watercraft 類低于 PSG，其他指標均達到了最好水平。?

CD 和 EMD

對于 CD 和 EMD，在 ShapeNet 測試集上，本文的方法在多數情況下都達到了最好水平。

參考文獻

[1]. Choy, C.B., Xu, D., Gwak, J., Chen, K., Savarese, S.: 3d-r2n2: A unified approach for single and multi-view 3d object reconstruction. In: ECCV. (2016)?

[2]. Fan, H., Su, H., Guibas, L.J.: A point set generation network for 3d object reconstruction from a single image. In: CVPR. (2017)?

[3]. Kato, H., Ushiku, Y., Harada, T.: Neural 3d mesh renderer. In: CVPR. (2018)?

[4]. Lorensen, W.E., Cline, H.E.: Marching cubes: A high resolution 3d surface construction algorithm. In: SIGGRAPH. (1987)?

[5]. Bernardini, F., Mittleman, J., Rushmeier, H.E., Silva, C.T., Taubin, G.: The ball-pivoting algorithm for surface reconstruction. IEEE Trans. Vis. Comput. Graph. 5(4) (1999) 349–359

點擊以下標題查看更多論文解讀：?

• 網絡表示學習綜述：一文理解Network Embedding

• 神經網絡架構搜索（NAS）綜述

• 從傅里葉分析角度解讀深度學習的泛化能力
  

• 哈佛NLP組論文解讀：基于隱變量的注意力模型

• ACL2018高分論文：混合高斯隱向量文法

• ECCV 2018 | 騰訊AI Lab提出視頻再定位任務

• KDD 18 | 斯坦福大學提出全新網絡嵌入方法

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？ 答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

總結

以上是生活随笔為你收集整理的ECCV 2018 | Pixel2Mesh：从单帧RGB图像生成三维网格模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。