?PaperWeekly 原創 ·?作者｜紀厚業

學校｜北京郵電大學博士生

研究方向｜圖神經網絡、推薦系統

圖神經網絡已經成為圖數據分析領域的經典算法了，各大頂會上相關的論文也層出不窮。但是，這些工作主要關注點都在如何在簡單無向圖上設計一個更新穎更復雜的模型，而沒有從圖數據的復雜程度來考慮。

實際生活中的圖往往更加復雜。比如，知識圖譜上的有向多關系圖。下面是一個知識圖譜的例子，這里有多種節點，如 London 和 United Kingdom；也有多種有向關系，如 Born-in 和 Citizen-of。注意，這里的關系是有方向的，Born-in 和 Bord-in_inv 是同一關系的兩個方向。

可以看出，多關系圖的建模是更符合實際也具有更高的應用價值。本文作者從實際的圖數據特點出發，設計了一種針對多關系有向圖的圖神經網絡 CompGCN 來同時學習節點和關系的表示。同時，為了降低大量不同類型關系帶來的參數，這里作者設計了一種分解操作 composition operation，將所有關系都用一組基的加權組合來表示。這樣用于描述關系的參數只和基的個數有關。?

論文鏈接：https://arxiv.org/abs/1911.03082

源碼鏈接：https://github.com/malllabiisc/CompGCN

下圖對比了幾種圖神經網絡的特點，可以看出：學習關系的表示是 CompGCN 獨有的特點。?

總的來說，本文的貢獻有 3 點：?

• 設計了 CompGCN 模型，一種可以考慮多種關系信息的圖神經網絡框架，來同時學習節點和關系的表示。

• 證明了 CompGCN 與之前的多關系 GNN 之間的聯系。

• 實驗驗證了 CompGCN 的有效性。

相關工作回顧

首先，作者回顧了多關系圖及多關系圖神經網絡的做法。

多關系圖中的邊可以表示為 (u,v,r)，代表存在一條從節點 u 指向節點 v 的類型為 r 的邊，其中 r∈R。同時，也存在一個相應的反向邊?。?

多關系圖神經網絡，也是分別聚合特定關系 r 下的鄰居：

其中，?是針對關系 r 的參數矩陣。而經典的單關系 GCN 聚合公式如下：

可以看出，兩者主要差異就在 ?和 W。假設關系的種類非常多，那么參數矩陣 ?的個數也會非常多，引入了非常多的參數，不利于模型學習。

模型COMPGCN

本文綜合考慮多關系圖上的 3 種邊類型：有向邊 R，如 (u,v,r)；反向邊?，如 ；自連邊?，如?。自連邊指的是一個節點可以連接到自身，這種連接關系類型為 。

有了邊的集合，相應的鄰居集合也就可以得到了。進一步，多關系圖神經網絡中聚合鄰居的過程如下：

其中，(u,r)∈N(v) 是節點 v 的在關系?r 下的鄰居集合，?是節點 v 的表示，是節點 u 的表示， 是針對關系 r 的投影矩陣。這里的 ?綜合考慮節點及邊關系的影響，即：?

本文設計了 3 種不同的函數：

考慮鄰居節點的表示和邊類型的區別，新的聚合公式如下：?

其中，λ(r) 是邊的類型。回憶之前介紹的三種邊類型：有向邊，反向邊，自連邊。相應的投影矩陣也有 3 種。?

下圖清晰展示了有向邊和反向邊的聚合過程：

為了能夠統一的對節點和邊進行運算，我們需要把邊的表示從邊空間（如?）投影到節點空間（如?）。

其中，?是一個邊空間->節點空間的投影矩陣。?

CompGCN 為了降低大量邊帶來的參數復雜度，這里作者設計了一組基向量?。所有的邊的表示都可以由一組基向量加權表示。

其中，?代表關系 r 在基向量??上的系數。?

上述過程實際描述的是 CompGCN 第一層的聚合過程，涉及到節點/ 邊的空間投影及邊的組合表示。在第二層及之后的聚合過程中并不需要投影/組合表示，聚合函數也有所不同。

最后作者分析了 CompGCN 與之前的一些模型的異同。可以看出，之前的很多圖神經網絡實際都可以認為是 CompGCN 的特例。

實驗

這里，作者分別在鏈路預測，節點分類，圖分類上進行了實驗。?

在鏈路預測任務上（?Table 3），CompGCN 在大部分情況下取得了最優的效果。?

作者進一步測試了不同 composition operator 的影響，? Table 4。

當采取 CovE+CompGCN (Corr) 的時候，模型取得了最佳的效果。?

CompGCN 的一個特點就是利用基向量來表示各個關系。作者進一步測試了基向量的個數對模型效果的影響。

Figure 3 可以看出，在基向量個數設置為 100 的時候，模型可以保持 99。4% 的效果。如果進一步降低基向量的個數，模型效果會持續下降。?

作者也測試了固定 5 個基向量的 CompGCN 與 R-GCN 的表現，? Figure 4。可以看出，即使只有 5 個基向量，CompGCN 的效果也優于考慮所有關系的 R-GCN。

最后，作者也測試了 CompGCN 在節點分類/圖分類上的效果，? Table 5。在大部分情況下，CompGCN 都取得了最好的效果。

結論

本文提出了一種針對多關系圖的圖神經網絡 CompGCN，可以同時學習到節點和邊的表示。通過一組基向量，CompGCN 可以用較少的參數實現對大量關系的描述。最后，作者通過大量的實驗驗證了 CompGCN 的有效性。

點擊以下標題查看更多往期內容：?

• 針對圖嵌入模型的受限黑盒對抗攻擊框架
  

• 深度學習模型不確定性方法對比
  

• ICLR 2020?| 隱空間的圖神經網絡：Geom-GCN
  

• 深度學習預訓練模型可解釋性概覽
  

• 如何快速理解馬爾科夫鏈蒙特卡洛法？
  

• 神經網絡中的常用激活函數總結

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的ICLR 2020 开源论文 | 多关系图神经网络CompGCN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。