圖表示學習目前受到了廣泛關注，但目前絕大多數的圖表示學習方法都是針對特定領域的圖進行學習和建模，所產出的圖神經網絡難以遷移。近期，預訓練在多個領域都取得了巨大的成功，顯著地提升了模型在各大下游任務的表現。

論文：GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者：Jiezhong Qiu，Qibin Chen，Yuxiao Dong，Jing Zhang，Hongxia Yang，Ming Ding，Kuansan Wang，Jie Tang

會議：In The 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD’20).

圖表示學習目前受到了廣泛關注，但目前絕大多數的圖表示學習方法都是針對特定領域的圖進行學習和建模，所產出的圖神經網絡難以遷移。近期，預訓練在多個領域都取得了巨大的成功，顯著地提升了模型在各大下游任務的表現。受到 BERT (Devlin et al., 2018)，MoCo (He et al., 2020) 等工作的啟發，我們開始研究圖神經網絡的預訓練，希望能夠從中學習到通用的圖拓撲結構特征。我們提出了 Graph Contrastive Coding的圖神經網絡預訓練框架，利用對比學習（Contrastive Learning）的方法學習到內在的可遷移的圖結構信息。本工作 GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training 已被 KDD 2020 research track 錄用。

傳統的圖表示學習主要參考 NLP 的基于 skip-gram 詞表示學習方法，如 DeepWalk，LINE，node2Vec，metapath2vec 等。這些方法主要針對節點的鄰居相似性（neighborhood similarity）進行建模。具體來說，網絡中距離比較近的節點會被認為比較相似；此外，這類方法得到的表示往往缺乏通用性，局限于訓練使用的特定網絡。而我們提出的 GCC 則關注結構相似性（structural similarity），我們希望兩個局部結構相似的節點擁有相近的表示，并且我們希望學習得到的表征可以遷移到不同的網絡上，具有通用性。

GCC 可以應用于許多下游的圖學習任務。我們探索了其在節點分類、圖分類和相似搜索中的應用。具體來說，在節點分類任務中，我們可以使用 GCC 的預訓練好的編碼器（encoder）對節點的 r-ego network 或者一個采樣得到的子圖進行編碼；在圖分類任務中，我們可以直接使用 GCC 的編碼器對輸入的圖直接進行編碼；而在相似搜索中，我們想要衡量兩個節點的結構相似度，我們可以使用 GCC 的編碼器分別對兩個節點的 r-ego network（或者采樣得到的子圖）進行編碼，然后計算編碼后的距離作為相似度。

實驗結果分別如下：

節點分類

圖分類

相似搜索

從實驗結果不難看出，GCC 在多個任務多個數據集上都取得了比較突出的表現，和現有最優模型相比能夠取得更優或相近的表現。這也表現了 GCC 的有效性。

綜上所述，本文提出的 GCC 的圖神經網絡預訓練框架利用對比學習的方法，有效地學習了圖結構的通用表征征，并且學習到圖的結構化信息，可以遷移到各類下游任務和各類圖中。實驗表明了該方法的有效性。未來我們會在更多的任務和實驗上進行實驗，并探索 GCC 在其他領域的應用。

參考文獻：

Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

He, K., Fan, H., Wu, Y., Xie, S., & Girshick, R. (2020). Momentum contrast for unsupervised visual representation learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 9729-9738).

相關閱讀

ECCV 2020 | 商湯提出語義分割模型新范式

一文速覽ECCV那些乘風破浪的華人學者

KDD 2020|可調控的多興趣推薦框架

總結

以上是生活随笔為你收集整理的两个gcc_KDD 2020 | GCC：图上的Contrastive Coding的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。