導讀：目前常見的圖卷積神經網絡一般都是3、4層，本文關注的問題是圖卷積神經網絡GCN/GNN是否也能和一般的卷積神經網絡CNN一樣加深到50+層而不會有Vanishing Gradient問題，作者提出了ResGCNs，DenseGCNs和Dilated GCN，MRGCN等結構，甚至能訓練收斂152層GCN，并在點云分割任務上取得了比較好的效果。李國豪，中國科學院大學碩士，阿卜杜拉國王科技大學計算機科學博士生一年級。研究方向是計算機視覺、深度學習、無人駕駛、強化學習等，曾在商湯科技研究院實習參與無人駕駛研究項目。在機器人頂會Robotics: Science and Systems(RSS‘2019)發(fā)表論文。圖卷積網絡(GCN)在處理非規(guī)則數(shù)據(jù)的過程中具有CNN無法比擬的優(yōu)勢，但目前的圖卷積網絡規(guī)模較小，在加深深度的過程中由于梯度消失(Vanishing Gradient)和過度平滑(Over Smoothing)問題限制圖卷積網絡的進一步發(fā)展。為了探索圖卷積網絡深度拓展的潛力，來自阿卜杜拉國王科技大學的研究人員在CNN結構的啟發(fā)下在圖卷積網絡中利用殘差、稠密連接和膨脹卷積等結構成功將GCN的深度拓展到了56層，在增強模型訓練穩(wěn)定性的基礎上大幅度提高了圖卷積網絡的性能。

圖卷積網絡

圖卷積網絡對于真實世界中廣泛存在的非歐幾里得數(shù)據(jù)具有強大的優(yōu)勢，它可以處理龐大的社交網絡數(shù)據(jù)，通過將社交網絡等效為圖來分析人與人之間的關系，也可以通過圖的方式來為化學分子結構建模助力新藥研發(fā)，同時還可以精確地構建用戶的交互模式以提升推薦系統(tǒng)的精度與效率，此外在語言處理、復雜的詞句關系中都有著廣泛的應用。
對于計算機視覺來說，圖卷積網絡對于場景中各部分的語義關系建模也十分有效，圖卷積網絡在對于點云的處理方面也涌現(xiàn)了一系列優(yōu)秀的工作。例如在點云分割和提升深度的探索上研究人員們都進行了一系列探索，但研究發(fā)現(xiàn)較深的圖卷積網絡會引起過度平滑(over-smoothing)的結果，使得局域特征都收斂到相同的值上；此外隨著網絡的加深還會帶來較高的計算復雜度和以及常見的梯度消失問題。
梯度消失、感受野較小、計算復雜度較高…這一系列問題似乎很熟悉？在卷積神經網絡發(fā)展的初期，人們也面臨著相同的問題！那么是不是可以借鑒CNN的發(fā)展經驗來解決GCN所面臨的問題呢？研究人員通過殘差、稠密連接和膨脹卷積等新的GCN結構給出了肯定的答案。

深度圖卷積網絡

圖卷積網絡通過聚合頂點領域的特征來實現(xiàn)高層信息的抽取。在圖網絡中，通過與每個頂點相連的特征矢量來表示頂點，整個圖就通過銜接這些所有頂點的特征來表達。下面的公式代表了圖網絡的一般表達形式：其中Gl，Gl+1代表了第l層圖網絡的輸入和輸出，圖卷積操作F?包含了聚合操作與更新操作，其中聚合操作用于從鄰域的頂點中編碼信息，而更新操作則用于將聚合后的信息進行非線性變化以計算出新的表達。這些函數(shù)的實現(xiàn)由多種形式，為了突出研究重點研究人員選用了簡單的最大池化作為聚合操作函數(shù)，多層感知機作為更新函數(shù)以便對抽取的特征進行非線性變換。此外，為了進一步提高模型的表達能力，動態(tài)圖卷積也是十分必要的。在研究中利用k-NN在每一層圖卷積層都對頂點間的邊進行了重計算來動態(tài)改變感受野，同時也有利于緩解較深的網絡帶來過度平滑的問題。

三管齊下有效加深GCN

為了加深圖網絡的深度提升模型的表達能力，研究人員在ResNet，DenseNet和膨脹卷積的啟發(fā)下對GCN?進行了一系列改進升級，提出了深度更深、更加穩(wěn)定、表現(xiàn)更好的圖網絡。下面讓來看看他們是如何將這三種技術引入圖網絡中的。ResGCN.通常的圖卷積網絡方法將一個圖作為輸入，通過映射函數(shù)F得到新的圖表示。而研究人員則提出一個新的函數(shù)H來映射輸入圖網絡與目標網絡間的殘差：在通常GCN的基礎上，研究人員為每一層增加了殘差鏈接，這些鏈接將為信息和梯度的傳輸提供了額外的連接通道，將有效解決梯度消失的問題。DenseGCN.稠密的連接提供了一種更為高效特征共享方式和信息流動通道，研究人員在DenseNet的啟發(fā)下為每層圖卷積銜接了先前所有中間層的信息。下面的公式中可以看出每一層的卷積中包含了一直到輸入層的信息流。這種方法將有效的融合多級別的特征，為梯度的流動提供了良好的通道，進一步促進特征的復用，緩解梯度消失問題。?膨脹卷積圖像領域的研究表明，膨脹卷積(Dilated Aggregation)可以在不損失分辨率的情況下有效擴大模型感受野，研究人員通過k-NN的方式來尋找每一層GCN后需要膨脹的鄰域，并構建了膨脹的圖結構。例如針對一個膨脹率為d的圖，k-NN會在輸入圖中每隔d個相鄰節(jié)點來構建k*d的計算區(qū)域并返回k-NN結果。

模型架構

在三種新模塊的加持下，研究人員構建了下圖所示的新型深度圖卷積網絡結構。整個結構主要包含了圖卷積主干網絡、特征融合模塊和多層感知器預測模塊三個主要的部分。其中主干網絡用于抽取輸入數(shù)據(jù)的特征。在實驗過程中研究人員利用了ResGCN和DenseGCN來構建主干網絡；隨后利用與PointNet和EdgeConv相同的方法構建了融合模塊，對全局和局部特征進行了有效融合；最后利用多層感知機模塊對融合后的特征進行處理，針對特定的任務進行處理。
實驗過程中使用點云分割任務進行驗證，主干網絡對輸入4096個點進行處理抽取了包含4096個頂點的圖特征；隨后利用1*1的卷積、池化對特征進行處理，并對全局與局部特征融合，最后利用1*1卷積實現(xiàn)的多層感知機對所有的點進行分類實現(xiàn)點云分割。研究人員首先實現(xiàn)了ResGCN28作為深度圖卷積的基礎網絡，其中包含了28層結構，包含了殘差圖連接和膨脹卷積。實驗結果在mIOU上比目前的結果提升了4%。隨后研究人員在S3DIS數(shù)據(jù)集上以RecGCN28作為基準，對網絡的結構、參數(shù)進行了一系列改進。通過使用稠密連接、動態(tài)k-NN和不同的通道數(shù)與深度來分析模型的性能變化，下表總結了各種變體與基準模型的對比。研究人員發(fā)現(xiàn)簡易實現(xiàn)的稠密連接對于顯存的消耗十分巨大，殘差連接對于實際應用更加現(xiàn)實。消融性分析更多地針對于殘差連接的網絡展開。在上表中可以看到膨脹卷積所決定的感受野在性能上貢獻了3%，能更好地與殘差鏈接協(xié)同工作。而當k-NN的鄰域大小變?yōu)樵瓉淼?/2和1/4時，性能下降了2.5%和3.3%，這意味著較大的感受野有利于模型性能的提升，但這一提升需要建立在模型有充分容量基礎上。如果增加鄰域的同時減小核的數(shù)量就會造成較大的性能損失。
還可以看到更深更寬的模型可以提升網絡的性能，這很大程度上意味著模型容量的增加和表達的抽取更為有效，但更深的模型需要在殘差和膨脹卷積的配合下才能有效提升。
為了更清晰地展示各種部件對于網絡的影響，研究人員還做出了下面的柱狀圖對各種因素進行了分析。另外，研究人員結合GraphSAGE和EdgeConv的優(yōu)點提出了更加高效的圖卷積模型MRGCN。最后一起來看看這種方法在數(shù)據(jù)集上取得的效果吧，最右邊兩列是本文提出模型的結果，與沒有殘差或稠密連接的模型相比顯著提高了語義分割的效果：如果想要了解詳細信息，可以這一項目的網站：https://sites.google.com/view/deep-gcns
也可以下載代碼上手學習一番：https://github.com/lightaime/deep_gcnsref:https://sites.google.com/view/deep-gcnshttps://arxiv.org/abs/1904.03751https://github.com/WangYueFt/dgcnnhttps://github.com/charlesq34/pointnethttps://en.wikipedia.org/wiki/Non-Euclidean_geometryhttps://www.zhihu.com/question/54149221https://dribbble.com/shots/4191976-Icon-illustration-2

《新程序員》：云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的gcn语义分割_ICCV Oral 2019：152层GCN大幅加深图卷积网络的方法，点云分割任务效果显著...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。