文章目錄

• 1 摘要
• 2 引言
• 相關(guān)工作
• 3 方法
• • 3.1 特征圖產(chǎn)生器
  • • 3.1.1 特征相似圖
    • 3.1.2特征傳播圖
  • 3.2 語(yǔ)義圖生成器
• 4 實(shí)驗(yàn)
• 5 結(jié)論

論文鏈接： http://shichuan.org/doc/100.pdf
代碼鏈接： https://github.com/Andy-Border/HGSL
作者：北京郵電大學(xué)趙建安等人
參考閱讀： https://mp.weixin.qq.com/s/hAmJdKItK8BljVGEtnU7AA
作者另一篇： NSHE
另一篇圖結(jié)構(gòu)學(xué)習(xí)方法 HGNN-AC

1 摘要

異構(gòu)圖神經(jīng)網(wǎng)絡(luò)（HGNNs）近年來(lái)受到越來(lái)越多的關(guān)注，并在許多任務(wù)中取得了優(yōu)異的性能。現(xiàn)有人類(lèi)神經(jīng)網(wǎng)絡(luò)的成功依賴于一個(gè)基本假設(shè)，即原始的異構(gòu)圖結(jié)構(gòu)是可靠的。然而，這種假設(shè)通常是不現(xiàn)實(shí)的，因?yàn)楝F(xiàn)實(shí)中的異構(gòu)圖不可避免地會(huì)有噪聲或缺失的問(wèn)題。因此，如何為異質(zhì)圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個(gè)合適的圖結(jié)構(gòu)而不是依賴于原始圖結(jié)構(gòu)是一個(gè)關(guān)鍵問(wèn)題。為解決這一問(wèn)題，本文首次研究了異質(zhì)圖結(jié)構(gòu)學(xué)習(xí)(Heterogeneous Graph Structure Learning)問(wèn)題，并提出了HGSL框架來(lái)聯(lián)合學(xué)習(xí)適合分類(lèi)的異質(zhì)圖結(jié)構(gòu)和圖神經(jīng)網(wǎng)絡(luò)參數(shù)。HGSL 通過(guò)挖掘特征相似性、特征與結(jié)構(gòu)之間的交互以及異質(zhì)圖中的高階語(yǔ)義結(jié)構(gòu)來(lái)生成適合下游任務(wù)的異質(zhì)圖結(jié)構(gòu)并聯(lián)合學(xué)習(xí) GNN參數(shù)。三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，HGSL 的性能優(yōu)于基線模型。

2 引言

許多真實(shí)世界的數(shù)據(jù)具有圖結(jié)構(gòu)，例如社交媒體圖、文獻(xiàn)引用圖。圖神經(jīng)網(wǎng)絡(luò)（GNN）作為一種處理圖數(shù)據(jù)的強(qiáng)大深度表示學(xué)習(xí)工具被廣泛地應(yīng)用于節(jié)點(diǎn)分類(lèi)、圖分類(lèi)以及推薦等下游任務(wù)中。最近，隨著真實(shí)世界中異質(zhì)圖應(yīng)用的激增，學(xué)者們提出了異質(zhì)圖神經(jīng)網(wǎng)絡(luò)（HGNN），并在一系列應(yīng)用上取得了優(yōu)越的效果。
大多數(shù)HGNN遵循一種消息傳遞（message passing）機(jī)制，其中節(jié)點(diǎn)的表示通過(guò)聚合和轉(zhuǎn)換其原始鄰居或基于元路徑鄰居的信息來(lái)學(xué)習(xí)。然而，這些方法依賴于一個(gè)基本假設(shè)，即原始異質(zhì)圖結(jié)構(gòu)良好且適合下游任務(wù)。然而，這種假設(shè)因?yàn)橐韵略蚪?jīng)常不成立。首先，由于異質(zhì)圖通常是根據(jù)一些預(yù)先定義的規(guī)則從復(fù)雜的交互系統(tǒng)中提取得出，這些交互系統(tǒng)本身不可避免地包含了一些不確定的信息或錯(cuò)誤。以推薦中的用戶-物品圖為例，用戶可能會(huì)誤點(diǎn)一些不需要的物品，給圖帶來(lái)噪聲信息。其次，異質(zhì)圖的提取通常要經(jīng)過(guò)數(shù)據(jù)清洗、特征提取和特征轉(zhuǎn)換等過(guò)程，這些過(guò)程通常與下游任務(wù)無(wú)關(guān)，導(dǎo)致提取的圖結(jié)構(gòu)與下游任務(wù)之間存在差距。因此，為GNN學(xué)習(xí)適合下游任務(wù)的異質(zhì)圖結(jié)構(gòu)是一個(gè)重要的問(wèn)題。
最近，為了自適應(yīng)地學(xué)習(xí)gnn的圖結(jié)構(gòu)，圖結(jié)構(gòu)學(xué)習(xí)(GSL)方法(Franceschi et al. 2019;Jiang et al. 2019;Chen, Wu, and Zaki 2019;Jin等人2020)提出，其中大部分對(duì)鄰接矩陣進(jìn)行參數(shù)化，并將其與GNN參數(shù)一起對(duì)下游任務(wù)進(jìn)行優(yōu)化。然而，這些方法都是針對(duì)同構(gòu)圖設(shè)計(jì)的，不能直接應(yīng)用于異構(gòu)圖，面臨以下挑戰(zhàn):(1)異構(gòu)圖中的異構(gòu)性當(dāng)學(xué)習(xí)只有一種關(guān)系類(lèi)型的同構(gòu)圖時(shí)，我們通常只需要參數(shù)化一個(gè)鄰接矩陣。然而，異構(gòu)圖由多個(gè)關(guān)系組成，每個(gè)關(guān)系反映異構(gòu)圖的一個(gè)方面。因?yàn)榻y(tǒng)一對(duì)待這些異質(zhì)關(guān)系必然會(huì)限制圖結(jié)構(gòu)學(xué)習(xí)的能力。如何處理這種異構(gòu)性是一個(gè)具有挑戰(zhàn)性的問(wèn)題。(2)異構(gòu)圖中的復(fù)雜交互。不同的關(guān)系和節(jié)點(diǎn)特征具有復(fù)雜的交互作用，這推動(dòng)了不同類(lèi)型的底層圖結(jié)構(gòu)的形成(Zhang, Swami, and Chawla 2019)。此外，不同關(guān)系的組合進(jìn)一步形成了大量語(yǔ)義各異的高階關(guān)系，這也意味著不同的圖生成方式。這些因素都會(huì)影響異構(gòu)圖結(jié)構(gòu)，因此在異構(gòu)圖結(jié)構(gòu)學(xué)習(xí)中必須充分考慮這些復(fù)雜的交互作用。
在本文中，我們首次嘗試研究圖神經(jīng)網(wǎng)絡(luò)的異構(gòu)graphstructurelearning，并提出了一個(gè)新的框架HGSL。在HGSL中，聯(lián)合學(xué)習(xí)異構(gòu)圖和GNN參數(shù)，以提高節(jié)點(diǎn)分類(lèi)性能。特別是在圖學(xué)習(xí)部分，為了捕獲不同關(guān)系生成的異構(gòu)度量，對(duì)每個(gè)關(guān)系子圖分別進(jìn)行學(xué)習(xí)。具體來(lái)說(shuō)，對(duì)于每個(gè)關(guān)系，通過(guò)挖掘異構(gòu)節(jié)點(diǎn)特征和圖結(jié)構(gòu)中的復(fù)雜關(guān)聯(lián)，生成三種類(lèi)型的候選圖，即特征相似圖、特征傳播圖和語(yǔ)義圖。學(xué)習(xí)到的圖進(jìn)一步融合為異構(gòu)圖并饋給GNN。對(duì)圖學(xué)習(xí)參數(shù)和GNN參數(shù)進(jìn)行聯(lián)合優(yōu)化，達(dá)到分類(lèi)目標(biāo)。我們的主要貢獻(xiàn)如下:

• 合適的異構(gòu)圖結(jié)構(gòu)是HGNN成功的基本保證。據(jù)我們所知，我們第一次嘗試研究如何學(xué)習(xí)一個(gè)最優(yōu)的異構(gòu)圖結(jié)構(gòu)的GNN針對(duì)下游任務(wù)。
• 我們提出了一種具有異構(gòu)圖結(jié)構(gòu)學(xué)習(xí)的新型異構(gòu)圖神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)生成三種圖結(jié)構(gòu)(特征相似圖、特征傳播圖、語(yǔ)義圖)，從而全面融合最優(yōu)異構(gòu)圖用于GNN。
• 我們?cè)谌齻€(gè)真實(shí)世界的數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，以驗(yàn)證HGSL與最先進(jìn)的方法的有效性。

本文首次對(duì)圖神經(jīng)網(wǎng)絡(luò)的異質(zhì)圖結(jié)構(gòu)學(xué)習(xí)進(jìn)行研究，并提出了一個(gè)異質(zhì)圖結(jié)構(gòu)學(xué)習(xí)框架HGSL。HGSL框架根據(jù)下游任務(wù)對(duì)異質(zhì)圖結(jié)構(gòu)和GNN參數(shù)進(jìn)行聯(lián)合學(xué)習(xí)。在圖結(jié)構(gòu)學(xué)習(xí)部分，HGSL分別對(duì)每個(gè)關(guān)系子圖進(jìn)行學(xué)習(xí)。具體來(lái)說(shuō)，對(duì)于每一種關(guān)系，通過(guò)從異質(zhì)節(jié)點(diǎn)特征和圖結(jié)構(gòu)中挖掘復(fù)雜關(guān)聯(lián)，生成特征圖、和語(yǔ)義圖并與原始圖結(jié)構(gòu)進(jìn)一步融合成可學(xué)習(xí)的異質(zhì)圖結(jié)構(gòu)饋送給GNN。最終，圖結(jié)構(gòu)學(xué)習(xí)參數(shù)和GNN參數(shù)聯(lián)合優(yōu)化以完成節(jié)點(diǎn)分類(lèi)任務(wù)。

相關(guān)工作

圖神經(jīng)網(wǎng)絡(luò)（GNN）
目前的GNNs一般可以分為兩類(lèi):光譜GNNs和空間GNNs(吳等2019b)。具體來(lái)說(shuō)，譜GNNs基于圖譜理論學(xué)習(xí)節(jié)點(diǎn)表示。例如，(布魯納等人2014)通過(guò)圖拉普拉斯算子設(shè)計(jì)了傅立葉域中的圖卷積運(yùn)算。然后，ChebNet (Defferrard，Bresson，and Vandergheynst 2016)利用切比雪夫多項(xiàng)式作為卷積濾波器來(lái)提高效率。GCN (Kipf和Welling 2017)通過(guò)使用其一階近似簡(jiǎn)化了ChebNet。此外，(Wu等人，2019a)將圖形卷積簡(jiǎn)化為線性模型，并且仍然獲得競(jìng)爭(zhēng)性能。空間神經(jīng)網(wǎng)絡(luò)直接在圖上定義卷積運(yùn)算，利用空間上的近鄰。例如，GAT (Velickovic等，2018)用注意機(jī)制聚集鄰域表示。GraphSAGE (Hamilton，Ying和Leskovec 2017)通過(guò)聚集來(lái)自采樣鄰居的信息來(lái)執(zhí)行歸納圖卷積。為了提高效率，FastGCN(陳、馬和肖2018)對(duì)每個(gè)卷積層執(zhí)行重要性采樣。讀者可以參考這些詳細(xì)的調(diào)查(張，崔，朱2018；吳等2019b)進(jìn)行了徹底的審查。
異構(gòu)圖神經(jīng)網(wǎng)絡(luò)（HGNN）
異構(gòu)圖神經(jīng)網(wǎng)絡(luò)是為處理無(wú)處不在的異構(gòu)數(shù)據(jù)而提出的。一些HGNNs直接在原始異構(gòu)圖上進(jìn)行圖卷積。HGAT用注意機(jī)制聚集節(jié)點(diǎn)和類(lèi)型層次信息進(jìn)行短文本分類(lèi)。HetGNN通過(guò)隨機(jī)游走對(duì)異構(gòu)鄰居進(jìn)行采樣，然后聚合節(jié)點(diǎn)和類(lèi)型信息。為了解決元路徑選擇難題，HetSANN利用注意機(jī)制聚集投影節(jié)點(diǎn)的多關(guān)系信息。NSHE(趙等2020a)保留了兩兩和網(wǎng)絡(luò)模式結(jié)構(gòu)。HGT(胡等，2020)采用基于元關(guān)系的相互注意來(lái)實(shí)現(xiàn)信息傳遞的異源圖和元路徑。其他HGNN方法使用元路徑生成圖，然后應(yīng)用GNN。GraphInception(張等，2018)將圖卷積應(yīng)用于基于元路徑的同構(gòu)圖，以執(zhí)行集合分類(lèi)。HAN(王等，2019b)將節(jié)點(diǎn)級(jí)和語(yǔ)義級(jí)注意力應(yīng)用于基于元路徑的圖。(云等，2019)通過(guò)堆疊多個(gè)圖形轉(zhuǎn)換器層來(lái)執(zhí)行元路徑生成，然后執(zhí)行圖形卷積。MAGNN (Fu等人，2020)對(duì)元路徑實(shí)例應(yīng)用元路徑內(nèi)和元路徑間聚合。
圖結(jié)構(gòu)學(xué)習(xí)（GSL）
為了減輕GNNs依賴于原始圖結(jié)構(gòu)的良好質(zhì)量的限制，已經(jīng)做了一些努力(張等2019b鄭等2020；楊毅、紀(jì)2019；趙等2020b王等. 2020cPei等人，2020年)。除了這些努力之外，最近還提出了圖結(jié)構(gòu)學(xué)習(xí)。GSL方法旨在聯(lián)合學(xué)習(xí)圖結(jié)構(gòu)和GNN參數(shù)。為了說(shuō)明，LDS (Franceschi等人，2019)將鄰接矩陣內(nèi)的每條邊建模為一個(gè)參數(shù)，并以雙層方式將它們與GNN參數(shù)一起學(xué)習(xí)。(姜等，2019)從節(jié)點(diǎn)特征生成基于相似度的圖結(jié)構(gòu)。IDGL(陳，吳，扎基2019)迭代地學(xué)習(xí)這些度量以從節(jié)點(diǎn)特征和嵌入生成圖結(jié)構(gòu)。ProGNN(金等2020)聯(lián)合學(xué)習(xí)參數(shù)和具有圖性質(zhì)的魯棒圖結(jié)構(gòu)。然而，前面提到的這些GSL方法都是為同構(gòu)圖設(shè)計(jì)的。

3 方法

3.1 特征圖產(chǎn)生器

由于原始圖對(duì)于下游任務(wù)可能不是最優(yōu)的，自然的想法是通過(guò)充分利用異構(gòu)節(jié)點(diǎn)特征中的豐富信息來(lái)擴(kuò)充原始圖結(jié)構(gòu)。通常有兩個(gè)因素影響基于特征的圖結(jié)構(gòu)的形成。一個(gè)是節(jié)點(diǎn)特征之間的相似性，另一個(gè)是節(jié)點(diǎn)特征與拓?fù)溟g的關(guān)系(王等2020c)。如圖1 (b)所示，我們首先提出生成一個(gè)特征相似度圖，該圖通過(guò)異構(gòu)特征投影和度量學(xué)習(xí)捕捉節(jié)點(diǎn)特征生成的潛在關(guān)系。然后提出通過(guò)拓?fù)浣Y(jié)構(gòu)傳播特征相似矩陣，生成特征傳播圖。最后，通過(guò)通道關(guān)注層將生成的特征相似度圖和特征傳播圖聚合成最終的特征圖

3.1.1 特征相似圖

特征相似圖通過(guò)特征的相似性來(lái)生成圖結(jié)構(gòu)，即一對(duì)特征相似的節(jié)點(diǎn)對(duì)存在潛在的邊。

3.1.2特征傳播圖

特征相似圖通過(guò)特征與拓?fù)渲g的交互來(lái)生成圖結(jié)構(gòu)，我們通過(guò)一個(gè)例子來(lái)更好的理解。例如，考慮生成用戶和電影之間的潛在圖結(jié)構(gòu)，存在這樣一種圖結(jié)構(gòu)生成方式：如果用戶 看過(guò)電影，且 和相似，那么用戶 可能對(duì)感興趣即和節(jié)點(diǎn)存在潛在邊。上述潛在的圖結(jié)構(gòu)可以分兩步構(gòu)建：得到特征相似的節(jié)點(diǎn)對(duì)（找到相似的電影 和），隨后用拓?fù)浣Y(jié)構(gòu)傳播（通過(guò) 的觀影歷史得到可能感興趣的電影）。HGSL 也通過(guò)上述兩步過(guò)程來(lái)得到特征傳播圖。

3.2 語(yǔ)義圖生成器

根據(jù)HIN的高階拓?fù)浣Y(jié)構(gòu)生成語(yǔ)義圖，描述了兩個(gè)節(jié)點(diǎn)之間的多跳結(jié)構(gòu)交互。值得注意的是，在異構(gòu)圖中，這些高階關(guān)系因元路徑?jīng)Q定的不同語(yǔ)義而彼此不同。基于此，我們提出從不同的語(yǔ)義中學(xué)習(xí)語(yǔ)義圖結(jié)構(gòu)。

4 實(shí)驗(yàn)

數(shù)據(jù)集：
DBLP
ACM
Yelp

Baseline
4個(gè)同構(gòu)圖嵌入方法：DeepWalk、GCN、GAT、GraphSage
4個(gè)異構(gòu)圖嵌入方法：MP2Vec、HAN、HeGAN、GTN
3個(gè)圖結(jié)構(gòu)學(xué)習(xí)相關(guān)方法：LDS、Pro-GNN、Geom-GCN

節(jié)點(diǎn)分類(lèi)結(jié)果

消融實(shí)驗(yàn)

參數(shù)分析

5 結(jié)論

在本文中，我們首次嘗試研究了面向神經(jīng)網(wǎng)絡(luò)的異構(gòu)圖結(jié)構(gòu)學(xué)習(xí)，并提出了一個(gè)名為HGSL的框架，該框架將異構(gòu)圖結(jié)構(gòu)和神經(jīng)網(wǎng)絡(luò)參數(shù)結(jié)合起來(lái)學(xué)習(xí)分類(lèi)目標(biāo)。特別地，通過(guò)利用異構(gòu)圖內(nèi)部的復(fù)雜交互，生成并融合特征相似圖、特征傳播圖和語(yǔ)義圖，以學(xué)習(xí)用于分類(lèi)的最優(yōu)異構(gòu)圖結(jié)構(gòu)。進(jìn)行了大量的實(shí)驗(yàn)，包括節(jié)點(diǎn)分類(lèi)、消融研究和模型分析，很好地證明了該框架的有效性。

---

總結(jié)

本文還是比較有創(chuàng)新性的，首次研究了異構(gòu)圖結(jié)構(gòu)學(xué)習(xí)

總結(jié)

以上是生活随笔為你收集整理的【论文解读|AAAI2021】HGSL - Heterogeneous Graph Structure Learning for Graph Neural Networks 图神经网络的异构图结构学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。