GAT研究意義:

1、圖卷積神經(jīng)網(wǎng)絡(luò)常用的幾個(gè)模型之一(GCN、GAT、GraphSAGE)

2、將Attention機(jī)制引入到圖神經(jīng)網(wǎng)絡(luò)中

3、支持歸納式學(xué)習(xí)和直推式學(xué)習(xí)

4、模型具有一定的可解釋性

?

本文主要結(jié)構(gòu)如下所示:

一、摘要Abstract

背景介紹及提出GAT模型、圖卷積神經(jīng)網(wǎng)絡(luò)模型、在節(jié)點(diǎn)特征從鄰居匯聚的時(shí)候考慮權(quán)重，適用于直推式和歸納式學(xué)習(xí)

1、在圖結(jié)構(gòu)上使用注意力機(jī)制，并提出圖注意力網(wǎng)絡(luò)GAT

2、為每一個(gè)中心節(jié)點(diǎn)的不同鄰居指定不同的權(quán)重，計(jì)算效率高

3、適用于直推式學(xué)習(xí)和歸納式學(xué)習(xí)

4、在多個(gè)數(shù)據(jù)集上達(dá)到最優(yōu)效果

二、Introduction

介紹圖的廣泛應(yīng)用，以及如何將卷積操作應(yīng)用到圖上，介紹空域和頻域的兩類方法，以及注意力機(jī)制并引出本文的模型(GAT)

三、Gat Architecture

介紹GAT模型的結(jié)構(gòu)并于之前的模型做對比

四、Evalution

實(shí)驗(yàn)部分，主要針對數(shù)據(jù)集介紹、baseline選取、直推式和歸納式兩種實(shí)驗(yàn)方式以及圖的節(jié)點(diǎn)分類效果對比

五、Conclusion

總結(jié)提出了GAT模型使用了注意力機(jī)制，鄰居匯聚時(shí)考慮不同的權(quán)重，同時(shí)具有歸納式學(xué)習(xí)的能力，并討論幾種未來方向，如模型的可解釋性和圖的分類

? ? ? ?關(guān)鍵點(diǎn):? 1、消息傳遞機(jī)制? 2、模型改進(jìn)和區(qū)別? 3、GAT模型結(jié)構(gòu)和分析??

? ? ? ?創(chuàng)新點(diǎn):? 1、Attention機(jī)制? 2、Multi-head技術(shù)? 3、直推式 和 歸納式 學(xué)習(xí)

? ? ? ?啟發(fā)點(diǎn):? 1、深度學(xué)習(xí)技術(shù)應(yīng)用到圖領(lǐng)域中

? ? ? ? ? ? ? ? ? ? ?2、Attention機(jī)制的引入衡量鄰居的不同權(quán)重，有更好的解釋性

? ? ? ? ? ? ? ? ? ? ?3、直推式和歸納式學(xué)習(xí)討論，圖的設(shè)定上啟發(fā)不同的工作

? ? ? ? ? ? ? ? ? ? ?4、GAT廣泛應(yīng)用到各種應(yīng)用問題

? ? ? ? ? ? ? ? ? ? ?5、GCN、GAT、GraphSAGE非常重要的模型，也是經(jīng)典的baselines

? ? ? ? ? ? ? ? ? ? ?6、模型學(xué)習(xí)要總結(jié)出共性、統(tǒng)一的框架

?

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Graph Attention Networks的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。