該文首發(fā)于知乎專欄：在天大的日日夜夜 已獲得作者授權

最近組會輪到我講了，打算講一下目前看的一些GNN論文以及該方向的一些重要思想，其中有借鑒論文[1]、[2]的一些觀點和《深入淺出圖神經(jīng)網(wǎng)絡：GNN原理解析》一書中的觀點。其中可能有一些不準確和不全面的地方，歡迎大家指出。

1.為什么我們需要圖神經(jīng)網(wǎng)絡：

圖 1

當前，深度學習技術已經(jīng)在語音識別、機器翻譯、圖像分析和計算機視覺等方向取得了重要成果，之所以CNN、RNN等模型能夠在圖像、音頻等處理中取得很好地效果，其一個重要原因是：圖像、音頻等數(shù)據(jù)都可以很好地在歐式空間中進行表示，并且以規(guī)則的柵欄結(jié)構(gòu)呈現(xiàn)，CNN等可以很自然的在這些數(shù)據(jù)上進行操作。

而也有很多數(shù)據(jù)，如社交網(wǎng)絡數(shù)據(jù)、生物化學圖結(jié)構(gòu)和引文網(wǎng)絡等，這些只能在非歐空間中表示，圖（Graph）是其中一個典型的表示方式。

圖結(jié)構(gòu)數(shù)據(jù)的表示一般是不規(guī)則，傳統(tǒng)的CNN等模型無法直接運用在圖數(shù)據(jù)上，所以需要在圖上重新定義卷積操作。其中要著重考慮感受野如何定義，節(jié)點的順序性如何定義，如何進行池化操作等等，這方面大家可以參考論文論文[3]，其中有比較詳細的討論。

2.圖神經(jīng)網(wǎng)絡發(fā)展的一些歷史

圖 2

①最早的圖神經(jīng)網(wǎng)絡是Network Embedding的形式，它的核心思想是通過表征學習的方式，在保持當前空間一些幾何特性的前提下，把數(shù)據(jù)轉(zhuǎn)換到一個低維的、更加有判別能力的空間。常見的方法有LLE、DeepWalk、SNE、Graph Factorization等方法。更多可以參考，這篇知乎（謝謝該作者）：

蘇一：圖嵌入（Graph embedding）綜述zhuanlan.zhihu.com

這方面強烈建議看一下DeepWalk這篇論文，是network embedding中非常重的一篇論文，該方法借鑒NLP的思想，使用random walk和SkipGram來提取社交網(wǎng)絡數(shù)據(jù)中的結(jié)構(gòu)信息。

這些方法的通病是對那些擁有節(jié)點特征的數(shù)據(jù)不感冒，有些方法加入節(jié)點特征的處理，但其實效果都不是特別好。

②在之后出現(xiàn)了Recurrent graph neural networks，這種方法的主要思想是假設一個節(jié)點不斷地與鄰居節(jié)點交換信息直到達到一個平衡，其大多借鑒了LSTM、GRU這些RNN模型，然后改進并運用到 圖數(shù)據(jù)上，這方面我沒有具體看過論文。大家如果有興趣可以參考論文[1]，然后再去查看相關論文。

③在2013年nips上，論文[4]提出使用圖信號處理技術來定義譜圖卷積，其核心思想是通過圖傅里葉變換將圖信號從空間域轉(zhuǎn)換到頻域，進而在頻域上定義圖卷積操作，其具體操作可以可以參考這篇知乎：

如何理解 Graph Convolutional Network（GCN）？www.zhihu.com

我們直接看結(jié)果：

圖 3

圖 3 上方的第一行式子就是對圖數(shù)據(jù)x進行的譜圖卷積操作，其中U代表拉普拉斯矩陣的特征向量，Lambda表示拉普拉斯矩陣的特征值矩陣，拉普拉斯矩陣是對稱矩陣，所以他一定可以進行對角化。

?表示圖卷積的卷積核，最初始的卷積核定義有兩種形式

第一種為圖3左下角形式為一個擁有N（節(jié)點數(shù)）個參數(shù)的對角陣，這種形式比較簡單，但是會遇到幾個問題：（i）參數(shù)數(shù)量與圖節(jié)點數(shù)量掛鉤，在處理大圖時會產(chǎn)生參數(shù)過多的問題（ii）解釋性極差;（iii）需要計算特征向量，并進行多次矩陣乘法，計算復雜度高。

為了解決1中的問題，提出了第二種圖3右下角的形式，這種形式看似復雜，但是可以通過對角化性質(zhì)進行化簡成：

這是式子中，對于每個K只有一個參數(shù)，L的j次冪可以表示節(jié)點的j階連通性，這也帶來了較好的解釋性：中心節(jié)點聚合其K階鄰居的信息，所以K可以理解為感受野，且參數(shù)數(shù)量等于K（一般K很小，例如K=2）。但是這個卷積核形式帶來一些問題如：需要計算L的冪，造成了較高的計算復雜度。

自此GNN變得可以一邊提取結(jié)構(gòu)特征、一邊提取節(jié)點特征。

3. Basic Model

圖 4

論文[5]提出了ChebNet（圖4左側(cè)），該模型對于圖卷積的改進在于使用切比雪夫多項式來近似計算拉普拉斯矩陣的冪運算，原來的冪運算可以通過遞歸的形式來求得，簡化了運算。

論文[6]是圖卷積領域一篇非常經(jīng)典的論文，將圖卷積應用于半監(jiān)督學習中。我們這里不討論其半監(jiān)督學習的方法。該論文在論文[5]的基礎上進行了一階近似，即每次卷積操作只對節(jié)點的一階鄰居進行信息聚合，并且省略了部分參數(shù)。除此之外，作者在層與層之間加入了線性變化矩陣和激活函數(shù)的操作，并使用softmax和交叉熵損失完成節(jié)點分類任務。圖4右側(cè)展示了模型的核心計算公式，可以看到卷積核幾乎消失了。論文[1]中也因此稱該論文為連接譜圖卷積和空間域卷積的橋梁。除此之外，該式中的??為經(jīng)過標準化和增加自連接的拉普拉斯矩陣，可以起到穩(wěn)定計算的作用。具體細節(jié)可以查詢具體論文。

值得一提的是，從半監(jiān)督的角度來看這篇論文，也可以解釋為使用圖卷積提取結(jié)構(gòu)信息來達到使用少量標簽數(shù)據(jù)完成節(jié)點分類任務的目的。但是這篇論文在半監(jiān)督上做的并不是特別好，我在做實驗的時候發(fā)現(xiàn)模型對于標簽數(shù)據(jù)的依賴性還是很大的，當減少訓練集的標簽數(shù)據(jù)時，模型效果會明顯的下降。所以現(xiàn)在半監(jiān)督領域有許多改進CN的工作，想辦法用更少的標簽來訓練GCN，這些論文一個通常的特征就是做實驗的時候會擺出訓練集的分割比。

目前提到的方法存在著很多問題：

• 無法進行分批訓練，其原因是的存在，無法對分批的數(shù)據(jù)完成運算，這也對應了該方法的靈活性差，無法處理大圖。

• 模型基于transductive，即在訓練過程中，測試集的數(shù)據(jù)也有參與，這造成模型的泛化能力很差。

• 無法通過加深網(wǎng)絡層數(shù)來加強網(wǎng)絡，這是GNN領域的一個重要問題。Shallow or Deep？這方面在文末會順帶一提，相關論文也非常之多。

基于以上前兩個兩個比較致命的缺點，研究者使用空間域卷積來解決。空間域卷積的論文也比較多：DCNN(擴散卷積)、GraphSage、GAT(基于self-attention)、LGCN(鄰居采樣+top-k selection+ 1DCNN)等等，其實后面講的模型都是空間域卷積，有比較有代表性的模型即GraphSAGE：

圖 5

該模型指出，以前的模型的目標是為每個不同的節(jié)點學習到一個唯一的Embedding，這導致模型的可擴展性很差。本論文[7]提出GraphSAGE將目標定于學習聚合器，聚合器的任務在于完成鄰居節(jié)點的信息聚合，因此GraphSAGE不會因為新節(jié)點的加入而造成模型無法工作。除此之外，GraphSAGE支持分批訓練。

如圖5，該模型的工作步驟可以分為：

• 分批采樣若干源節(jié)點，對于其中一個中心節(jié)點來說，首先對其一階鄰居采樣固定數(shù)目個節(jié)點，若感受野為2，則在對中心節(jié)點的每個一階鄰居的鄰居節(jié)點進行固定數(shù)目的采樣，采樣數(shù)目為超參數(shù)。一般感受野的大小K=2.

• 采樣結(jié)束后，對節(jié)點的鄰居節(jié)點進行聚合，其聚合方式應該具有排列不變性，作者提供了三種：（i）mean，（ii）max, （iii）lstm，其中mean的聚合方式讓模型近似等價于論文[6]，lstm不具有排列不變性。

• 中心節(jié)點的K階鄰域聚合完畢后，通過concat或sum的形式兩者進行融合，獲得最后的embdding，然后用于半監(jiān)督學習或者無監(jiān)督學習。

其分批算法流程可以表示為：

圖 6

具體的算法細節(jié)，大家可以參考源碼，這篇論文十分適合落地。

值得一提，這篇論文也存在著一定的缺陷，后面會提到。

下面在分別講一下幾個重要的研究方向，分類可能不太對，大家湊活著看。

3. Analysis

圖 7

論文[8]提出了一種描述GNN的通用框架即信息傳遞機制。其核心思想很簡單，通過中心節(jié)點、其一個鄰接節(jié)點和它們之間的邊信息生成一個信息M，然后將中心節(jié)點能生成的所有信息加和得到m，然后將該信息傳遞給中心節(jié)點做一個融合得到新的Embedding。若是做圖分類任務，則再加入一個Readout層來做一個全局的池化。其實這種思想在論文[9]中也有提高過。

作者認為大家的模型都應該按照他的框架來，紅紅火火恍恍惚惚紅紅火火\(^o^)/~。

在通用框架方面，還有非常多的代表性論文，Relational Inductive Biases, Deep Learning, and Graph Networks.arxiv 2018.paper，這篇論文中也提出了非常多的框架。

圖 8

論文[10]探討了什么樣的模型能夠有更強大的表達能力。早在GraphSAGE中，作者就提出了空間域卷積的操作與Weisfeiler-Lehman test十分相似, WL test的流程如下：

聚合節(jié)點的節(jié)點與他們鄰居節(jié)點的標簽。

對聚合結(jié)束后的新標簽進行hash操作。

迭代1、2幾次，觀察標簽的分布來判斷圖是否同構(gòu)。

如圖8中間的圖所示，GNN的聚合和WL test都能得到一個類似樹的結(jié)構(gòu)，作者認為擁有不同子樹的根節(jié)點應該擁有不同的Embedding。

這就引出了作者的一個理論：

圖 9

簡單一點說，聚合函數(shù)f、??、readout的函數(shù)映射是單射的。

作者據(jù)此，設計了一種能夠發(fā)揮最大表達能力的模型，即圖8最下方的模型。該模型聚合函數(shù)使用了加和（作者在論文中對比了mean、max和sum的優(yōu)劣），使用了MLP，readout使用了跨層級的加和操作。

圖 10

論文[11] 探討了強大的圖神經(jīng)網(wǎng)絡的必要性問題，作者在文中去除了那些復雜的聚合操作，之加入一些線性變化和激活函數(shù)，在readout層使用MLP來增強網(wǎng)絡。

網(wǎng)絡的輸入數(shù)據(jù)有進行更改，其數(shù)據(jù)位節(jié)點度、節(jié)點信息，節(jié)點K接鄰居信息的concat結(jié)果，可以認為作者僅僅通過在輸入數(shù)據(jù)中加入度信息和鄰居信息，而用線性變化和激活函數(shù)代替鄰域節(jié)點聚合操作仍能在圖分類任務上取得很好地效果。（后面有篇論文特別強調(diào)了度信息的重要性）。從這點看來，圖神經(jīng)網(wǎng)絡應該是什么樣的還處于混沌狀態(tài)。我們怎么才能更加有效地、更加高效率的獲取數(shù)據(jù)中的結(jié)構(gòu)信息呢。

4 Efficiency

圖神經(jīng)網(wǎng)絡領域還有一個關于模型效率的方向。

圖 11

首先引入一個概念Embedding utilization，該概念最早提出在論文[12]中。如果一個節(jié)點在l層中被采樣計算，并且在l+1層重復利用u次，我們說節(jié)點利用率為u。這個指標可以很好地衡量模型的時間復雜度，embedding utilization跟采樣圖中邊數(shù)量成正比。

這里說一個事實，雖然GraphSAGE采用了分批訓練極大地提升了模型的的收斂速度，但是其每個epoch的時間卻比FullGCN[6]要慢很多，這用Embedding utilization可以很好地解釋。

可以很容易的想到，在GraphSAGE中的u是很小的，這一層采樣的節(jié)點在下一層也被采樣的幾率是不大的。而對于FullGCN這種全采樣的方法，u是節(jié)點度的平均值，很明顯要大于GraphSAGE，所以GraphSAGE的per-epoch time要更長。

接下來介紹幾種重要的采樣方式：

圖 12

Node-wise：其代表就是GraphSAGE，每次采樣中心節(jié)點固定數(shù)目的鄰居節(jié)點，這種方法面臨的問題是，當網(wǎng)絡層數(shù)變深時，模型的復雜程度指數(shù)增加。

Layer-wise：該方法進行層間獨立采樣，在每一層中都單獨采樣固定數(shù)目的節(jié)點，這樣就不會有指數(shù)級的復雜度，并且采樣遵循重要性采樣方法（具體見論文[13]、[14]）。這種方法面臨的問題是，節(jié)點間的關系可能很稀疏，導致模型的效果下降。

Layer-wise x Node-wise: 論文[15]提出一種方法，在層間獨立采樣的基礎上，在第一層采樣固定數(shù)目節(jié)點，然后下一層的采樣在第一層所有節(jié)點的鄰居節(jié)點中采樣固定數(shù)目節(jié)點，這樣可以同時減少復雜度、減弱稀疏。

基于圖劃分：論文[15]提出了一種基于圖劃分的方式，首先使用METIS劃分算法對圖進行劃分，劃分結(jié)果趨向于擁有更多的邊，然后在這個圖劃分中完成圖卷積操作可以有效提升節(jié)點利用率。有一個問題，劃分之間的關系很可能損失掉，這會導致模型性能下降，作者采用將多個劃分合并的方法來減弱這種趨勢。

這個研究領域的成果其實并不是具體的模型，而是一種訓練方法，這是需要注意的。

5.Pooling

對應于傳統(tǒng)深度學習中的pooling，GNN中也有池化操作，這方面我看的論文不是很多，簡單介紹一下。Pooling常用于圖分類任務中。

圖 13

Pooling常用于readout中進行全局池化，最基本的方法有Max-pooling、SUM-pooling、mean-pooling等。

論文[16]首次將attention加入到pooling操作中（在這之前有GAT網(wǎng)絡用于圖卷積，大家有興趣可以查看相關論文）。該方法的步驟如下：

使用FullGCN進行操作得到每個節(jié)點的一個Embedding。

根據(jù)Embedding計算top-k節(jié)點，然后刪除剩余節(jié)點。

將top-k進行Max-pooling、Mean-pooling進行池化，在用MLP進行映射進而完成圖分類任務。

作者在論文中給出了兩種模型搭建方式，可分別應用于大圖數(shù)據(jù)和小圖數(shù)據(jù)中，具體大家可以參考論文。

這里說一下attention的問題，attention最近在GNN領域的應用非常多，比較有代表性的就是GAT這個模型，具體的大家可以看論文。這里我想說一下我理解的attention在GNN中作用：一是幫助結(jié)構(gòu)特征的提取，幫助我們得知哪個鄰居更加重要，需要更大的權重。二是幫助構(gòu)造節(jié)點序列，在CNN中卷積核中心節(jié)點的周圍節(jié)點都因為相對位置而獲得順序，但是圖節(jié)點的鄰居并沒有順序，這時候通過attention機制可以幫助我們搞定節(jié)點順序選擇問題。attention我覺得可以作為一個小trick用到各種模型中來加強模型效果。

有研究者發(fā)現(xiàn)，目前的pooling方法沒有類似于傳統(tǒng)pool的層級結(jié)構(gòu)，論文[19]就此提出了DiffPool模型。

圖 14

模型的思想是這樣的，在模型的前向傳播過程中，加入一個矩陣S，S的作用是將當前層的節(jié)點進行劃分，劃分后節(jié)點的數(shù)目減少，在網(wǎng)絡的最后劃分數(shù)目變?yōu)?。其計算過程如圖14左側(cè)所示，更加具體的操作細節(jié)，可以參考論文原文。

這個S如何獲得呢，答案是通過學習獲得。模型被分為兩部分，一部分學習節(jié)點的embedding，一部分用于學習矩陣S（其中用到了top-k的思想），其計算模型如圖14中間所示。

作者在訓練過程中，發(fā)現(xiàn)模型很難收斂，遂加入一個新的損失項，該損失基于假設：鄰居節(jié)點應該盡可能的被分在同一個劃分中。

6.About Experiment

看這方面論文很驚悚，讓我感覺以前的實驗真的白做了。

圖 15

論文[18]做了這樣一個工作，他在一個統(tǒng)一的實驗設置下，對當前重要的模型進行測試。

論文指出現(xiàn)今的模型存在一個問題，他們的實驗設置非常不同，不同的實驗導致會導致模型效果天差地別，并且缺少可再現(xiàn)性。。最近自己在做實驗的時候也深有體會，無論如何也無法復現(xiàn)一些論文中的效果，增加訓練集節(jié)點數(shù)目會讓效果天差地別。

作者將模型評價分為兩個階段：（i）model selection （ii） model assessment。前者為超參數(shù)的選擇階段，后者為模型結(jié)果測試階段。一個合格的評價流程可以提高模型的可再現(xiàn)性。

就此作者提出了一套基于交叉驗證的評測流程，如圖15所示。

除此之外，我還得知了并非所有的數(shù)據(jù)都有節(jié)點特征，像如reddit這樣的社交網(wǎng)絡數(shù)據(jù)是缺少節(jié)點特征的，論文采用的方法是將節(jié)點特征設置為相同值或者度的獨熱編碼。

論文在完成測試后，得到兩個重要結(jié)論：

一些沒有適用結(jié)構(gòu)特征提取的方法在某些情境下，效果優(yōu)于GNN，所以這告訴我們當前的GNN模型沒有充分提取結(jié)構(gòu)信息。

節(jié)點的度是一個非常重要的特征，能夠顯著提升模型效果，這也印證了之前的GFN模型。

現(xiàn)在在圖神經(jīng)網(wǎng)絡領域還缺少一個像ImageNet這樣的評測平臺，不可否認的是ImageNet對于計算機視覺的發(fā)展推動十分大。所以我們需要這樣一個平臺。

圖 16

論文[19]做了一個benchmark。

該論文指出當前工作常用的引文網(wǎng)絡數(shù)據(jù)集存在很大的問題，它的數(shù)據(jù)規(guī)模太小了，這對于開發(fā)更加復雜的圖神經(jīng)網(wǎng)絡模型是十分不利的。一些好的模型會在這些數(shù)據(jù)集上趨向于過擬合而不是提升泛化能力。

所以作者在計算機視覺、生物信息、社交網(wǎng)絡等領域建立了多個中等規(guī)模的數(shù)據(jù)集，并使用一致的評測流程來保證公平，希望這個benchmark可以促進圖神經(jīng)網(wǎng)絡的發(fā)展。

7.GNN領域中的一些問題：

訓練方式問題（sampling）：目的是尋找一種訓練方式，使得收斂速度加快、time per epoch時間降低，并且不明顯損耗效果。值得一提VR-GCN在重要性采樣這一方面已經(jīng)做到了方差為0，很不錯了。

Deep network :?GNN現(xiàn)在一般的層數(shù)為2-3層，研究者發(fā)現(xiàn)加深網(wǎng)絡會導致模型的效果變差。我理解的有以下幾種解釋方法：（1）拉普拉斯矩陣的冪運算在指數(shù)很大時，??變化很小。（2）GCN它基于假設：讓相鄰的節(jié)點盡可能的處于同一類，如果加深層數(shù)會導致距離比較遠（不屬于同一類）的節(jié)點成為同類，這明顯會損耗GNN效果。（3）當GNN的層數(shù)加深，會聚集更多節(jié)點的noise information。（4）當GNN層數(shù)加深時，中心節(jié)點的節(jié)點特征會慢慢地被丟棄，所以有工作通過加多個自旋的方式來加深層數(shù)。（5）統(tǒng)計學常識：參數(shù)越多，需要的數(shù)據(jù)越多，然而沒有大型圖數(shù)據(jù)集。解決加深GNN層數(shù)的問題主要使用skip connection的方法，如殘差網(wǎng)絡，hightway network,Dilated 等方法。

異質(zhì)圖：異質(zhì)圖中的節(jié)點和邊擁有不同的類型，異質(zhì)圖問題一般很復雜，現(xiàn)在也有很多相關的工作，其中一個重要思想是先想辦法將節(jié)點和邊分類，然后進行類內(nèi)的信息聚合，然后在進行類間的節(jié)點聚合。

有向圖：前面提到的很多GNN模型只面向無向圖，要想處理有向圖，就必須考慮child和father這一項信息。

動態(tài)圖：圖中的節(jié)點信息、節(jié)點存在與否動態(tài)變化，這要求模型泛化能力極強并且擁有很好的靈活性。

有信息的邊：遇到帶信息的邊，需要考慮邊帶有的信息。現(xiàn)在有這么幾個方法：（i）將邊變?yōu)橐粋€節(jié)點和兩條邊，這樣就去掉了信息邊。（ii）不同的邊擁有不同的參數(shù)矩陣（需要考慮參數(shù)數(shù)量問題）。

其github的地址：

GitHub - graphdeeplearning/benchmarking-gnns: Repository for benchmarking graph neural networksgithub.com

其配置流程可以參考我的一篇文章：

dongZheX：Win10安裝配置Benchmark for GNNzhuanlan.zhihu.com

給大家推薦一個庫pyG，大家可以用這個庫來實現(xiàn)baseline模型，能夠很好的提升效率。

https://github.com/rusty1s/pytorch_geometricgithub.com

給大家推薦一個找論文的好地方：

GitHub - thunlp/GNNPapers: Must-read papers on graph neural networks (GNN)github.com

ppt的鏈接：

鏈接：pan.baidu.com/s/1zo0cwk

提取碼：eddm

我感覺我寫的脈絡性不是特別的強，如果想系統(tǒng)學習一下可以參考一些綜述，推薦幾篇：

A Comprehensive Survey on Graph Neural Networks.arxiv 2019.paper

Relational Inductive Biases, Deep Learning, and Graph Networks.arxiv 2018.paper

Geometric Deep Learning: Going beyond Euclidean data.IEEE SPM 2017.paper

寫寫代碼可以先看這個github，自己寫寫試試：

https://github.com/FighterLYL/GraphNeuralNetworkgithub.com

大概就說這么多啦，最新的論文還沒看，心情不好，忙著搞畢設呢，以后再更。這是初稿，歡迎大家指出不準確的地方。

參考論文：

[1] Wu Z, Pan S, Chen F, et al. A comprehensive survey on graph neural networks[J]. arXiv preprint arXiv:1901.00596, 2019.

[2] Monti, Federico, Boscaini, Davide, Masci, Jonathan,等. Geometric deep learning on graphs and manifolds using mixture model CNNs[J].

[3] Niepert M, Ahmed M, Kutzkov K. Learning convolutional neural networks for graphs[C]//International conference on machine learning. 2016: 2014-2023.

[4] Bruna, Joan, Zaremba, Wojciech, Szlam, Arthur,等. Spectral Networks and Locally Connected Networks on Graphs[J]. Computer Science, 2013.

[5] Defferrard M, Bresson X, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Advances in neural information processing systems. 2016: 3844-3852.

[6] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.

[7] Hamilton W, Ying Z, Leskovec J. Inductive representation learning on large graphs[C]//Advances in Neural Information Processing Systems. 2017: 1024-1034.

[8] Gilmer J , Schoenholz S S , Riley P F , et al. Neural Message Passing for Quantum Chemistry[J]. 2017.

[9] Relational Inductive Biases, Deep Learning, and Graph Networks. Battaglia, Peter W and Hamrick, Jessica B and Bapst, Victor and Sanchez-Gonzalez, Andrea and Raposo, David and Santoro, Adam and Faulkner, Ryan and others. 2018. Paper

[10] Xu K, Hu W, Leskovec J, et al. How powerful are graph neural networks?[J]. arXiv preprint arXiv:1810.00826, 2018.

[11] Chen, Ting, Bian, Song, Sun, Yizhou. Are Powerful Graph Neural Nets Necessary? A Disp on Graph Classification[J].

[12] Chiang W L, Liu X, Si S, et al. Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks[J]. arXiv preprint arXiv:1905.07953, 2019.

[13] Chen J, Ma T, Xiao C. Fastgcn: fast learning with graph convolutional networks via importance sampling[J]. arXiv preprint arXiv:1801.10247, 2018.

[14] Stochastic training of graph convolutional networks with variance reduction[J]. arXiv preprint arXiv:1710.10568, 2017

[15] Layer-Dependent Importance Sampling for Training Deep and Large Graph Convolutional Networks[C]//Advances in Neural Information Processing Systems. 2019: 11247-11256.

[16] Lee, Junhyun, Inyeop Lee, and Jaewoo Kang. "Self-attention graph pooling."arXiv preprint arXiv:1904.08082(2019).

[17] Ying Z, You J, Morris C, et al. Hierarchical graph representation learning with differentiable pooling[C]//Advances in neural information processing systems. 2018: 4800-4810.

[18] Errica F, Podda M, Bacciu D, et al. A fair comparison of graph neural networks for graph classification[J]. arXiv preprint arXiv:1912.09893, 2019.

[19] Dwivedi V P, Joshi C K, Laurent T, et al. Benchmarking Graph Neural Networks[J]. arXiv preprint arXiv:2003.00982, 2020.

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（pdf更新到25集）本站qq群1003271085，加入微信群請回復“加群”獲取一折本站知識星球優(yōu)惠券，復制鏈接直接打開：https://t.zsxq.com/yFQV7am喜歡文章，點個在看。

總結(jié)

以上是生活随笔為你收集整理的目前看的图神经网络(GNN)论文的一些总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。