筆記整理 |?李爽，天津大學

---

鏈接：http://hfbix45521e79b0484907sowxo0fubpp9b6xwx.fiiz.eds.tju.edu.cn/stamp/stamp.jsp?tp=&arnumber=9359364

動機

知識圖譜 (KG) 嵌入旨在研究嵌入表示以保留 KG 的固有結構。圖神經網絡(GNN)作為一種有效的圖表示技術，在學習圖嵌入方面表現出了良好的性能。然而，KG具有異構性的內在屬性，其中包含各種類型的實體和關系。如何同時處理復雜的圖數據并聚合多種類型的語義信息是一個關鍵問題。本文提出了一種基于注意力機制的新型異構 GNN 框架HRAN，不僅聚合了來自不同語義方面的實體特征，而且還為它們分配了適當的權重。與幾種最先進的方法相比，在三個真實世界上的 KG實驗結果證明了其優越的性能。

亮點

HRAN的亮點主要包括：

1.通過關系路徑融合每種特定語義的信息，可以分層聚合相鄰特征，同時保留不同的特征信息，使GNN可以直接應用于異構KG，并進一步促進后續的鏈路預測任務；2.利用注意力機制來學習每個關系路徑的重要性，并可以根據學習到的注意力值，有選擇地聚合信息特征，抑制無用特征。

概念及模型

模型的總體框架如下圖所示。

實體級聚合

由于KG的異構性，不同類型的實體可能出現在不同的特征空間中，不適合將每個實體的所有鄰居特征直接聚合起來。因此，提出實體級聚合，首先對每個基于關系路徑的實體特征進行聚合，聚合方程為：

在本文中，實體級別的聚合器函數??被稱為 GCN。因此，上式可以寫為：

關系級聚合

提出一種新的基于關系的注意力機制來獲取不同關系路徑的重要性，然后利用它來聚合不同類型的語義信息。為了學習每個關系路徑的權重值，首先利用非線性變換(如單層MLP)來變換關系特定的特征??。然后通過注意力向量q衡量此特征的重要性，通過激活函數得到最終的?α?。過程如下所示：

在得到每個關系路徑的重要性后，每個基于關系路徑的聚合特征可以用學到的?α?作為系數進行加權。然后，將所有基于關系路徑的聚合鄰居特征進行拼接融合，得到每個實體最終的聚合鄰居特征如下：

三元組預測

給定一個輸入三元組??，CNN的輸入矩陣M可以通過將主體實體??和關系r的嵌入拼接得到：

然后用N個不同的濾波器對輸入矩陣M進行卷積運算，生成特征映射V 如下：

在預測連接的對象實體??時，將輸出的特征映射平面化并投影到一個包含主體實體??和關系r之間潛在語義連接的d維向量上，然后可以將ConvD的評分函數??定義為

根據以上三個公式，評分函數可改寫為：

最后，定義三元組??的預測概率為

評測和優化

HRAN的損失函數定義為：

在訓練過程中使用dropout技術對HRAN進行正則化。每層之后采用Batch normalization來穩定、正則化，提高收斂速度。利用label smoothing減少過擬合，提高泛化能力。采用Adam優化器對損失函數進行優化。

理論分析

實驗

作者在WN18、FB15k-237和WN18RR三個基準數據集上進行實驗，采用三種通用的評價指標來衡量預測精度，包括mean rank (MR)、mean reciprocal rank (MRR)和Hits@k (k = 1、3、10)。為了驗證所提出的方法的性能，從連接預測領域采用了幾種最先進的基線方法，包括基于平移距離的方法、基于語義匹配的方法和基于神經網絡的方法。

實驗一：連接預測的結果

預測結果如下表所示。

FB15k-237數據集訓練過程中的Hits@10和MRR如下圖所示。

上述結果表明，所提出的HRAN能夠對實體和關系生成表達性嵌入，并用于連接預測任務。通過引入關系路徑的注意力機制，可以提高方法的有效性。

KGs之間存在著復雜的關系，可以分為1對1、1對多、多對1和多對多。下表總結了MRR關于不同關系類別的結果。

綜上所述，本文提出的方法能夠有效地處理KGs中的大部分復雜關系，其主要原因是提出了基于卷積動態神經網絡(ConvD)的新分數函數。ConvD為每個關系生成關系特定的過濾器，目的是提取具有不同關系的三元組中的關系特定的語義特征。因此，每個實體在不同的關系下會展示出語義特征的不同方面。這使所提出的方法更加靈活，能夠處理這些復雜的關系。

實驗二：注意力機制的有效性

為了驗證注意力機制的能力，以FB15k-237數據集為例，在下圖中報告了幾種關系路徑和相應的注意力值。可見，單一關系路徑與其注意力值呈正相關。

在KGs中，節點的度是指每個實體在所有關系路徑下的鄰居實體。實體的級別越高，表示包含的鄰居實體越多。計算Hits@3和Hits@10的均值結果如下表所示。

可以看到，Hits@3和Hits@10的均值隨著度的范圍增大而增大。這意味著HRAN和HRN可以從更多的鄰域信息聚合中獲益，從而生成的實體和關系的嵌入更具有表達性。綜上所述，該注意力機制能夠自適應地學習各關系路徑的權重，并有選擇地在某些重要關系路徑中聚集更多的信息特征。因此，即使在較低的節點度下，生成的實體和關系的嵌入也可以更有表現力。

實驗三：不同聚合器和評分函數的比較

本文采用了不同的評分函數，包括基于平移距離的方法(TransE)、基于語義匹配的方法(DistMult)和基于神經網絡的方法(ConvE、conv-TransE和所提出的ConvD)。總體結果見下表。

可以看出，由不同聚合器函數組成的GNN體系結構對方法的性能有顯著影響。通過融合圖結構信息，所提出的方法可以生成更具表達性的嵌入，并用于預測缺失環節。

總結

本文提出了異構關系注意力網絡(HRAN)，以獲取異構問題中復雜的結構和豐富的語義。HRAN通過關系路徑分別聚合鄰居特征。同時，通過注意力機制學習各關系路徑的重要性，并利用注意力機制選擇性地聚合信息特征。對于三元組預測，提出了ConvD，它生成關系特定的濾波器。然后，在卷積運算中，從每個實體中提取關系特定的語義特征。在連接預測任務上的實驗結果證明了該方法的有效性。對于未來的工作，由于取樣有用的錯誤訓練樣本是一個關鍵任務，可以利用最新的生成對抗網絡來探索生成錯誤的三元組。

?

---

?

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數據的開放、互聯及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 | 用于学习知识图谱嵌入的一种基于注意力机制的新型异构 GNN 框架HRAN...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。