當深度學習遇上圖，會碰撞出怎樣的火花呢？

本文就帶你來了解一下——近年來逆勢而上的一門技術(shù)：圖神經(jīng)網(wǎng)絡(luò)！

內(nèi)容選自《圖神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)與前沿（全彩）》一書！

01

什么是圖

也許我們從來沒有意識到，我們正生活在一個充滿圖的世界。例如，我們最熟悉的社交網(wǎng)絡(luò)（如下圖所示），就是一個最典型的圖。

在計算機領(lǐng)域，我們通常用圖指代一種廣義的抽象結(jié)構(gòu)，用來表示一堆實體和它們之間的關(guān)系。實體被叫作圖的節(jié)點，而實體和實體之間的關(guān)系構(gòu)成了圖的邊。嚴格來說，一個圖 G = {V, E} 包含一個節(jié)點集合V 和一個邊的集合E。

以社交網(wǎng)絡(luò)為例，用戶可以作為節(jié)點，而用戶和用戶之間的朋友關(guān)系可以作為邊。事實上，作為表示實體關(guān)系和結(jié)構(gòu)化數(shù)據(jù)的一種方式，圖幾乎無處不在。

• 當我們在網(wǎng)上購物時，用戶和產(chǎn)品之間的購買關(guān)系可以形成用戶-產(chǎn)品圖。

• 當我們在公司工作時，有公司的組織結(jié)構(gòu)圖。

• 當我們與同事或朋友發(fā)郵件、發(fā)微博交流時，則會產(chǎn)生交流圖。

除此之外，在人工智能的研究和應用產(chǎn)品中，圖結(jié)構(gòu)的數(shù)據(jù)也占據(jù)了非常重要的地位。

• 在自然語言處理中常用的知識圖譜，是用來表示領(lǐng)域知識、促進知識推理不可或缺的載體。

• 用于生物研究的蛋白質(zhì)網(wǎng)絡(luò)，能夠表示蛋白質(zhì)之間的相互作用。

• 在化學中，如果我們把原子看成節(jié)點，將原子間的化學鍵看成邊，那么所有分子都是天然的圖結(jié)構(gòu)。

• 物聯(lián)網(wǎng)傳感器之間需要連接成圖，共同獲取監(jiān)測狀態(tài)。

• 互聯(lián)網(wǎng)中的鏈接關(guān)系讓所有網(wǎng)頁形成鏈接圖。

• 論文中的引用關(guān)系讓所有論文形成引文圖。

• 金融交易讓交易雙方形成交易圖。

此類例子不勝枚舉。?

甚至在很多原本沒有明顯圖的數(shù)據(jù)上，人們也發(fā)現(xiàn)可以利用圖結(jié)構(gòu)獲得新的突破。

一個典型的例子是文本摘要中利用句子之間的相似性構(gòu)建的圖，對早期文檔摘要領(lǐng)域做出了巨大的貢獻。

在定理證明中，邏輯表達式可以表示成由變量和操作構(gòu)成的圖。

同樣地，程序也可以表示成由變量構(gòu)成的圖，用來判斷正確性；在多智能體（Multi-agent）系統(tǒng)中，agent 之間的隱性交互也被當作圖來處理。

02

深度學習與圖

毫無疑問，深度學習正在成為人類實現(xiàn)人工智能最重要的工具。

在當前時代，在大量數(shù)據(jù)和超強計算資源的推動下，深度學習強大的表征能力使其在各個應用領(lǐng)域（自然語言處理、計算機視覺、計算機語音等）有了突破性的進展。

時至今日，在人工智能各種任務的排行榜上，我們已經(jīng)很難找到非深度學習的最優(yōu)模型了。

然而，大部分傳統(tǒng)深度學習模型，如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）等， 處理的數(shù)據(jù)都限定在歐幾里得空間，如二維的網(wǎng)格數(shù)據(jù)—圖像和一維的序列數(shù)據(jù)—文本，因為它們的模型設(shè)計正得益于歐幾里得空間中這些數(shù)據(jù)的一些性質(zhì)：例如，平移不變性和局部可聯(lián)通性。圖數(shù)據(jù)不像圖像和文本一樣具有規(guī)則的歐幾里得空間結(jié)構(gòu)，因此這些模型無法直接應用到圖數(shù)據(jù)上。

圖數(shù)據(jù)的特殊性質(zhì)

以卷積神經(jīng)網(wǎng)絡(luò)為例，我們通過對比網(wǎng)格數(shù)據(jù)和圖數(shù)據(jù)（如下圖所示）來說明為什么它不能直接用在圖上。

1. 節(jié)點的不均勻分布

在網(wǎng)格數(shù)據(jù)中，每個節(jié)點（不包含邊緣節(jié)點）只有 4 個鄰接點，因此我們可以很方便地在一個網(wǎng)格數(shù)據(jù)的每個小區(qū)域中定義均勻的卷積操作。而在圖結(jié)構(gòu)中，節(jié)點的度數(shù)可以任意變化，每個鄰域中的節(jié)點數(shù)都可能不一樣，我們沒有辦法直接把卷積操作復制到圖上。

2. 排列不變性

當我們?nèi)我庾儞Q兩個節(jié)點在圖結(jié)構(gòu)中的空間位置時，整個圖的結(jié)構(gòu)是不變的。如果用鄰接矩陣表示圖，調(diào)換鄰接矩陣的兩行，則圖的最終表示應該是不變的。在網(wǎng)格中，例如在圖像上，如果我們變換兩行像素，則圖像的結(jié)構(gòu)會明顯變化。因此，我們沒有辦法像處理圖像一樣直接用卷積神經(jīng)網(wǎng)絡(luò)處理圖的鄰接矩陣，因為這樣得到的表示不具有排列不變性。

3. 邊的額外屬性

大部分圖結(jié)構(gòu)上的邊并非只能取值二元的 {0,1}，因為實體和實體的關(guān)系不僅僅是有和沒有，在很多情況下，我們希望了解這些實體關(guān)系連接的強度或者類型。強度對應到邊的權(quán)重，而類型則對應到邊的屬性。顯然，在網(wǎng)格中，邊是沒有任何屬性和權(quán)重的，而卷積神經(jīng)網(wǎng)絡(luò)也沒有可以處理邊的屬性的機制。

將深度學習擴展到圖上的挑戰(zhàn)

由于圖結(jié)構(gòu)的普遍性，將深度學習擴展到圖結(jié)構(gòu)上的研究得到了越來越多的關(guān)注，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GNN）的模型應運而生。總體來說，深度學習在圖上的應用有以下幾個難點。

1. 圖數(shù)據(jù)的不規(guī)則性

正如前面所講，相對于網(wǎng)格數(shù)據(jù)，圖結(jié)構(gòu)數(shù)據(jù)的不規(guī)則性使得傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不能直接應用在圖上，因此，在圖上，我們必須發(fā)展新的深度學習模型。

2. 圖結(jié)構(gòu)的多樣性

作為表示實體關(guān)系的數(shù)據(jù)類型，圖結(jié)構(gòu)具有豐富的變體。圖可以是無向的，也可以是有向的；可以是無權(quán)重的，也可以是有權(quán)重的；除了同質(zhì)圖，還有異構(gòu)圖；等等。

3. 圖數(shù)據(jù)的大規(guī)模性

大數(shù)據(jù)作為深度學習的“燃料”，在各個應用領(lǐng)域發(fā)揮了重要的作用。在大數(shù)據(jù)時代，我們同樣面臨大規(guī)模的圖的處理難題。我們常用的圖結(jié)構(gòu)數(shù)據(jù)，如互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、金融交易網(wǎng)絡(luò)，動輒有數(shù)以億計的節(jié)點和邊，這對深度學習模型的效率提出了很高的要求。

4. 圖研究的跨領(lǐng)域性

我們介紹了各種各樣的圖，很容易發(fā)現(xiàn)圖的研究是橫跨很多不同的領(lǐng)域的，而在很多任務上，研究圖的性質(zhì)都需要具有領(lǐng)域知識。例如，對分子圖的性質(zhì)進行預測，我們需要具有一些化學知識；對邏輯表達式的圖進行處理，我們需要具有一些邏輯學知識。在《圖神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)與前沿》這本書中，我們將繼續(xù)探討圖神經(jīng)網(wǎng)絡(luò)如何解決這些問題。

▊《圖神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)與前沿》

馬騰飛 編著

• 梳理圖神經(jīng)網(wǎng)絡(luò)（GNN）領(lǐng)域的經(jīng)典模型

• 幫助讀者構(gòu)建圖神經(jīng)網(wǎng)絡(luò)知識體系

• 厘清重要模型的設(shè)計思路和技術(shù)細節(jié)

• 展現(xiàn)圖神經(jīng)網(wǎng)絡(luò)的研究進展

• 圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)、生物醫(yī)療、自然語言處理等不同場景的實踐

圖神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域的一個新興方向，它不僅迅速得到了學術(shù)界的廣泛關(guān)注，而且被成功地應用在工業(yè)界的多個領(lǐng)域。

本書介紹了圖神經(jīng)網(wǎng)絡(luò)和圖深度學習的基礎(chǔ)知識和前沿研究，不僅包括它們的發(fā)展歷史和經(jīng)典模型，還包括圖神經(jīng)網(wǎng)絡(luò)在深層網(wǎng)絡(luò)、無監(jiān)督學習、大規(guī)模訓練、知識圖譜推理等方面的前沿研究，以及它們在不同領(lǐng)域（如推薦系統(tǒng)、生化醫(yī)療、自然語言處理等）的實際應用。?

本書既可作為人工智能領(lǐng)域研究和開發(fā)人員的技術(shù)參考書，也可作為對圖上的深度學習感興趣的高年級本科生和研究生的入門書。

（掃碼了解本書詳情）

福利來了?? 評論區(qū)留言送書！你在學習深度學習的過程中遇到過哪些問題？希望讀者后續(xù)分享哪個系列的干貨？對于用心留言（20字以上）點贊前8名的同學將送《圖神經(jīng)網(wǎng)絡(luò)：基礎(chǔ)與前沿（全彩）》一本，到3月7日22:00截止。 （為防止刷量，3月7日18時對留言前20名做個截圖作為證據(jù)，與最終點贊數(shù)量作對比。）

總結(jié)

以上是生活随笔為你收集整理的当深度学习遇上图： 图神经网络的兴起！（文末送书）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。