Abstract

圖結構數(shù)據(jù)上的廣義、可轉移和魯棒表示學習仍然是當前圖神經(jīng)網(wǎng)絡(GNNs)面臨的一個挑戰(zhàn)。與用于圖像數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(CNNs)不同，對gnn的自我監(jiān)督學習和預訓練的探索較少。在本文中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數(shù)據(jù)的無監(jiān)督表示。首先，我們設計了四種圖增廣來包含各種先驗。然后，我們在四種不同的設置中系統(tǒng)地研究了圖增強的各種組合對多個數(shù)據(jù)集的影響:半監(jiān)督、無監(jiān)督、遷移學習以及對抗性攻擊。結果表明，即使不調優(yōu)擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架可以產(chǎn)生與最先進的方法相比具有相似或更好的泛化性、可轉移性和魯棒性的圖表示。我們還研究了參數(shù)化圖擴展范圍和模式的影響，并在初步實驗中觀察進一步的性能提高。

Introduction

本文設計了四種圖數(shù)據(jù)增強，每一種都對圖數(shù)據(jù)施加一定的先驗，并對范圍和模式進行參數(shù)化。

本文提出了一種新的用于GNN訓練前的圖對比學習框架(GraphCL)，從而可以學習不同圖結構數(shù)據(jù)的不受特殊擾動的表示。此外，我們展示了GraphCL實際上實現(xiàn)了互信息最大化，并且GraphCL與最近提出的對比學習方法之間建立了聯(lián)系，我們展示了GraphCL可以被重寫為一個通用框架，統(tǒng)一了圖結構數(shù)據(jù)上的大量對比學習方法。

通過系統(tǒng)研究，評估了不同增強方法在不同類型數(shù)據(jù)集上的性能對比，揭示了增強方法性能的基本原理，并為具體數(shù)據(jù)集采用該框架提供指導。

Methodology

Data Augmentation for Graphs

• Node dropping:?隨機從圖中去除掉部分比例的節(jié)點及其邊，每個節(jié)點丟棄的概率服從 i.i.d 的均勻分布
• Edge perturbation:?隨機增加或刪除一定比例的邊，每個邊的增加或者刪除的概率亦服從 i.i.d 的均勻分布
• Attribute masking:?隨機去除部分節(jié)點的屬性信息，迫使模型使用上下文信息來重新構建被屏蔽的頂點屬性。
• Subgraph:?使用隨機游走的方式從G中提取子圖的方法。

Graph Contrastive Learning

主要框架：

組成部分：

• 圖數(shù)據(jù)增強
• 基于 GNN 的編碼器
• 投影頭
• 對比損失

Graph data augmentation

? ?前面4 種數(shù)據(jù)增強方式，如

• Node dropping:
• Edge perturbation
• Attribute masking
• Subgraph

GNN-based encoder

GNNs 框架：

　　聚合步：即信息傳遞階段，該階段會多次執(zhí)行信息傳遞過程。

? ? ? ?輸出：?

?　通過一個讀取函數(shù) READOUT 得到兩個視圖的圖級表示向量?hi?和?hj?。

?Projection head

對上述生成的圖數(shù)據(jù)表示?hi和?hj?，使用一個非線性變換投影頭?g(?)?（即：雙層的 MLP）?將其潛在空間轉換到?zi，zj。

Contrastive loss function

在 GNN 預訓練過程中，對一小批??N? 個圖進行隨機采樣并通過對比學習處理，得到??2N? 個增廣圖和相應的對比損失進行優(yōu)化，我們將小批圖中的第??n? 個圖重新注釋為? Zn,i，Zn,j? 。負對不是顯式采樣的，而是來自相同小批中的其他??N?1? 增廣圖。將第??n? 個圖的余弦相似函數(shù)表示 為?

?第??n? 個圖的 NT-Xent 定義為:

其中?τ 是 temperature parameter。

顯然上述過程是圖級對比損失。

損失函數(shù)可以重新寫為：

?

Experiment

文章的實驗分為兩部分，分別討論數(shù)據(jù)增強對GraphCL效果的影響以及比較GraphCL與SOTA圖標是學習方法的性能。

數(shù)據(jù)增強在圖對比學習中的作用

這部分實驗評估了采用之前提出的四種數(shù)據(jù)增強方法的圖對比學習框架在半監(jiān)督圖分類任務上的效果。在半監(jiān)督設定下，模型的訓練采用pre-training加finetuning的方法，采用的數(shù)據(jù)集包括Biochemical Molecules以及Social Networks兩類。通過實驗得到了文章所提出的預訓練方法相對于learn from scratch方法的性能提升(Fig 2)

?

實驗主要討論了三部分內容：

1. 數(shù)據(jù)增強對于圖對比學習的效果具有關鍵作用

A.加入數(shù)據(jù)增強有效提升了 GraphCL 的效果

• 通過觀察 Figure 2 中每個數(shù)據(jù)圖實驗結果中的最上一行與最右一列可以發(fā)現(xiàn)采用數(shù)據(jù)增強能有效提升 GraphCL 的分類準確度。這是由于應用適當?shù)臄?shù)據(jù)增強會對數(shù)據(jù)分布注入相應的先驗，通過最大化圖與其增強圖之間的一致性，使模型學習得到的表示對擾動具有不變性。

B.組合不同數(shù)據(jù)增強方式對算法效果提升更大

• 通過觀察 Figure 2 發(fā)現(xiàn)每個數(shù)據(jù)集上采用相同數(shù)據(jù)增強方式構建的樣本對所對應的結果均不是該數(shù)據(jù)集上的最優(yōu)結果，而每個數(shù)據(jù)集上的最優(yōu)結果均采用不同數(shù)據(jù)增強組合的方式。文章給出的解釋是，采用不同數(shù)據(jù)增強組合的方式避免了學習到的特征過于擬合低層次的“shortcut”，使特征更加具有泛化性。同時通過 Figure 3 發(fā)現(xiàn)當采用不同數(shù)據(jù)增強方式組合時，相比于單一數(shù)據(jù)增強時的對比誤差下降的更慢，說明不同數(shù)據(jù)增強組合的方式意味著”更難“的對比學習任務?！　?/li>

?2、數(shù)據(jù)增強的類型，強度以及模式對 GraphCL 效果的影響

我們注意到，增強類型的(最)有益組合可以是特定于數(shù)據(jù)集的，這與我們的直覺相匹配，因為圖結構數(shù)據(jù)具有高度異構的性質.

A、Edge perturbation 的方式對于 Social Network 有效但在部分 biochemical Molecules 數(shù)據(jù)集上反而有負面效果

? ? ? 通過 Figure 2 可以看出Edge perturbation的數(shù)據(jù)增強方式在除 NCI1 之外的三個數(shù)據(jù)集上均有較好的效果，但是在 NCI1 上的效果反而比 baseline 算法差。這是由于對 NCI1 中的網(wǎng)絡的語義對于邊的擾動更加敏感，對網(wǎng)絡中邊進行修改可能會改變分子的性質從而破壞網(wǎng)絡語義，進而影響下游任務。針對 Edge perturbation 的強度，從 Figure 4 中可以得出，在 COLLAB 數(shù)據(jù)集上，算法性能隨 Edge perturbation 的強度增加而提升，但在 NCI1 數(shù)據(jù)集上，Edge perturbation 強度對算法效果無明顯影響。

　B、Attribute masking的方式在更“密集“的圖數(shù)據(jù)上能取得更好效果

? ? ?從 Figure 2 中可以發(fā)現(xiàn)Attribute masking的增強方式在平均度更高的數(shù)據(jù)集上具有更好的性能增益（例如COLLAB），而在平均度較低的數(shù)據(jù)集上增益明顯減小。文章對這個結果做出的假設是，當圖數(shù)據(jù)越密集時，意味著 Attribute masking 之后模型仍然有足夠的其他數(shù)據(jù)來重建被屏蔽的數(shù)據(jù)，而反之則難以重建。在強度方面，通過增加Attribute masking的強度可以在更“密集”的數(shù)據(jù)集上提升算法效果。

C、Node dropping 和 Subgraph 的方式對所有數(shù)據(jù)集都有效?

上述兩種方式，尤其是 Subgraph 的數(shù)據(jù)增強方式在實驗中的數(shù)據(jù)集上都能給圖對比學習算法帶來性能增益。Node dropping有效的原因是，在許多圖數(shù)據(jù)中去掉部分節(jié)點并不影響整圖的語義。而對于 Subgraph 的方式，之前的相關研究已經(jīng)說明了采用 Local-Global 的對比學習方式訓練圖表示是有效的。

3、相對于“更難”的任務，過于簡單的對比任務對算法性能提升沒有幫助

“更難”的任務有利于提升GraphCL的效果，這里包含兩種情況，一種是將不同的數(shù)據(jù)增強方法進行組合，另一種是增加數(shù)據(jù)增強的強度或者提高增強模式的難度，例如采用更高的概率進行Node dropping，或者采用均勻分布之外的復雜分布進行 Node dropping。

GraphCL與SOTA算法的性能對比

在這部分實驗中，文章對比了 GraphCL 與 SOTA 的圖表示方法在四種setting下的圖分類任務中的性能，包括半監(jiān)督、無監(jiān)督、遷移學習以及對抗攻擊setting。具體實驗設置詳見原文。在半監(jiān)督、無監(jiān)督、遷移學習任務中，GraphCL 在大部分數(shù)據(jù)集上的分類準確率都達到了 SOTA ，在對抗攻擊setting下，實驗結果表明GraphCL增強了模型的魯棒性。

1.半監(jiān)督任務

我們將兩種傳統(tǒng)的網(wǎng)絡嵌入方法作為預訓練任務進行比較:鄰接信息重建和局部和全局表示一致性強制。此外，報告了從無到有訓練和增強訓練(無對比)的表現(xiàn)。我們采用[63]中默認設置的圖卷積網(wǎng)絡(GCN)作為基于gnn的編碼器，在全監(jiān)督設置下可以達到與SOTA性能相當?shù)男阅?。?顯示，GraphCL優(yōu)于傳統(tǒng)的訓練前方案。

2.?無監(jiān)督任務?

比較從圖核學習的圖表示、SOTA 表示學習方法和用 GraphCL 預訓練的 GIN 的分類精度。

?

3.??遷移學習任務?

不同人工設計預訓練方案的遷移學習比較

?

　4.對抗魯棒性測試任務

　　GNN在三種不同深度對抗攻擊下的對抗性能

4 Conclusion

　　在本文中，我們探索針對GNN預訓練的對比學習，因為它面臨著圖結構化數(shù)據(jù)中的獨特挑戰(zhàn)。 首先，提出了幾種圖形數(shù)據(jù)擴充方法，并在介紹某些特定的人類數(shù)據(jù)分布先驗的基礎上進行了討論。 隨著新的擴充，我們?yōu)镚NN預訓練提出了一種新穎的圖對比學習框架（GraphCL），以促進不變表示學習以及嚴格的理論分析。 我們系統(tǒng)地評估和分析了我們提出的框架中數(shù)據(jù)擴充的影響，揭示了其原理并指導了擴充的選擇。 實驗結果驗證了我們提出的框架在通用性和魯棒性方面的最新性能。

?

總結

以上是生活随笔為你收集整理的论文阅读：Graph Contrastive Learning with Augmentations的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。