《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》論文閱讀筆記

主要挑戰貢獻：

KG上的推理挑戰主要有兩個：1.KG的規模很大，每跳一步候選答案集的候選答案數量便指數增長，因此通過跳轉來尋找答案不現實；2.絕大多數的現實世界的KG根本不完全，缺少很多邊（關系），因此跳轉可能都跳不動，根本無法找到答案。

BetaE是第一個可以在大型異構知識圖譜上處理**所有邏輯操作符號（包括存在、交、或、非，之前主要是無法處理邏輯“非”）的方法，它具有embedding類方法的隱含歸納關系**的能力、并且可以建模實體語義的不確定性，極大的增強了真實世界知識圖譜上多跳推理的可拓展性和處理能力。

原文摘要：

人工智能的基本問題之一是對知識圖（KG）捕獲的事實執行復雜的多跳邏輯推理。這個問題具有挑戰性，因為KG可能龐大且不完整。最近的方法將KG實體嵌入到低維空間中，然后使用這些嵌入來找到答案實體。但是，由于當前方法僅限于FOL（一階邏輯）運算符的一個子集，因此如何處理任意的一階邏輯（FOL）查詢一直是一個嚴峻的挑戰。特別是，不支持（?）運算符。當前方法的另一個局限性在于它們不能自然地對不確定性建模。

在這里，我們介紹BETAE，這是一個概率嵌入框架，用于回答KG上的任意FOL查詢。 BETAE是第一種可以處理一階邏輯運算全集：合取（∧），析取（∨）和取反（?）的方法。 BETAE的一個關鍵idea是使用有限支持下的概率分布，具體來說就是Beta分布，并將查詢/實體作為Beta分布嵌入，因此，我們也可以對不確定性進行建模。邏輯操作是由神經運算符在概率嵌入中在嵌入空間中執行的。我們展示了BETAE在回答三個大型不完整KG上的任意FOL查詢時的性能。與一般的KG推理方法相比，BETAE更為通用，它的相對性能也提高了25.4％，后者只能處理合取查詢而沒有取反操作。

相關工作：

1.KGE（trans、convE、transG/KG2E）以鏈接預測為目標，并不知道怎么泛化這些方法到使用邏輯操作的多跳知識圖譜推理

2.建模不確定性，使用order embedding、分布、量子邏輯

I. Vendrov, R. Kiros, S. Fidler, and R. Urtasun, “Order-embeddings of images and language,” in International Conference on Learning Representations (ICLR), 2016.

S. He, K. Liu, G. Ji, and J. Zhao, “Learning to represent knowledge graphs with gaussian embedding,” in Proceedings of the 24th ACM International on Conference on Information and Knowledge Management, 2015.

D. Garg, S. Ikbal, S. K. Srivastava, H. Vishwakarma, H. Karanam, and L. V. Subramaniam, “Quantum embedding of knowledge for reasoning,” in Advances in Neural Information Processing Systems (NeurIPS), 2019.

3.知識圖譜多跳推理-回答多跳邏輯查詢（GQE、Q2B）

K. Guu, J. Miller, and P. Liang, “Traversing knowledge graphs in vector space,” in Empirical Methods in Natural Language Processing (EMNLP), 2015.

R. Das, A. Neelakantan, D. Belanger, and A. McCallum, “Chains of reasoning over entities, relations, and text using recurrent neural networks,” in European Chapter of the Association for Computational Linguistics (EACL), 2017.

4.知識圖譜多跳推理-使用多跳規則或路徑來提高鏈接預測準確度（Deeppath）

W. Xiong, T. Hoang, and W. Y. Wang, “Deeppath: A reinforcement learning method for knowledge graph reasoning,” in Empirical Methods in Natural Language Processing (EMNLP), 2017.

X. V. Lin, R. Socher, and C. Xiong, “Multi-hop knowledge graph reasoning with reward shaping,” in Empirical Methods in Natural Language Processing (EMNLP), 2018.

X. Chen, M. Chen, W. Shi, Y. Sun, and C. Zaniolo, “Embedding uncertain knowledge graphs,” in AAAI Conference on Arti?cial Intelligence (AAAI), 2019.

S. Guo, Q. Wang, L. Wang, B. Wang, and L. Guo, “Knowledge graph embedding with iterative guidance from soft rules,” in AAAI Conference on Arti?cial Intelligence (AAAI), 2018.

S. Guo, Q. Wang, L. Wang, B. Wang, and L. Guo, “Jointly embedding knowledge graphs and logical rules,” in Empirical Methods in Natural Language Processing (EMNLP), 2016.

H. Wang, H. Ren, and J. Leskovec, “Entity context and relational paths for knowledge graph completion,” arXiv preprint arXiv:2002.06757, 2020.

基礎概念：

-推理：從已知知識/事實中獲得邏輯結論或者作出預測的過程

-知識圖譜推理：本質上是使用存在(?)、與(∧)、或(∨)、非(?)四種邏輯操作來回答KG上的一階邏輯查詢

-一階邏輯查詢：一階邏輯是一種將自然語言形式化為可計算格式的方法，由非變量錨實體集，存在性量化變量集、單目標變量組成，詳見維基百科，下面的例子中分別對應*（Europe、worldcup）、（V）、（V？）*。

-推理過程：給定一個一階邏輯查詢q，將其解析為一個計算圖computation graph，這個計算圖明確了來找到答案所需要的所有步驟，按照步驟可以推理出最終答案。

-舉例：歐洲沒有舉辦過世界杯的國家的總統有哪些？

步驟1.寫成FOL形式：𝑞= 𝑉? . ? 𝑉 ∶ 𝑳𝒐𝒄𝒂𝒕𝒆𝒅（𝐸𝑢𝑟𝑜𝑝𝑒 ,𝑉） ∧ ? 𝑯𝒆𝒍𝒅（ 𝑊𝑜𝑟𝑙𝑑𝐶𝑢𝑝 , 𝑉）∧ 𝑷𝒓𝒆𝒔𝒊𝒅𝒆𝒏𝒕 （𝑉 , 𝑉?）

步驟2.畫出對應計算圖

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-MM1RHDin-1617950564050)(https://i.loli.net/2021/02/06/QhfBF57kqjEUWuK.png)]

步驟3.按照計算圖執行定義好的邏輯操作，綠色節點就是我們的目標答案

顯而易見，推理方法的關鍵就在于如何嵌入實體和查詢、如何定義邏輯操作，這也就是所有模型的主要創新點。

補充：處理disjunction 或操作(∨)時可以將其轉化為DNF-disjunctive normal form和DM-De Morgan’s laws兩種方式，本文采用的是DM（根據德摩根定律：多個集合的并集等價于各個集合補集的交集的補集，因此就可以用交和非來表示或操作），但是后續的實驗證明DNF更好，因為它能表示disjunction用多最大值的embedding。但是，證明了DM能夠提供或操作很好的近似，并且泛化性不錯。重要的是，betaE很靈活，可以DNF也可以DM，baseline只能DNF

具體模型：

? 解決關鍵問題：主要包括如何定義實體和查詢的嵌入形式、如何定義在該嵌入形式上實現對應的邏輯操作

1-嵌入方式：

? GQE把查詢和實體都嵌入到歐幾里得空間中的點向量；Q2B把查詢嵌入成超幾何盒子、把實體嵌入成可以被包含在里面的點向量；二者都設計了他們的projection和intersection操作，但是二者都不能處理非操作，因為無論是歐幾里得空間的點或者盒子，他們的補集都不在歐幾里得空間中。

? 為了解決這個問題，希望的embedding屬性包括：能夠自然建模不確定性并且可以設計封閉的邏輯操作。為什么要封閉？1.能夠實現非操作，并且操作可以隨意結合，2.使在增加邏輯操作時，embedding表示保持在固定的空間/時間復雜度，不會指數增長

? 因此，BetaE采用了Beta分布來作為實體entity和查詢query的嵌入（在這里補充一個觀點，embedding嵌入是啥都可以，不一定是向量，只是最終呈現出可用于計算的向量形式），那么beta分布是啥呢？

?

具體來說，一個Beta(α, β )分布有兩個形狀參數α, β，決定了上面他的概率密度函數（原文縮寫為PDF）的形狀，有高概率密度和低概率密度等不同的區域。并且一個Beta(α, β )分布的不確定性可以通過微分熵進行計算。那么，對于一個實體entity，我們賦予它一個beta embedding：

? S = [(α1, β1), . . . , (αn, βn)]，

每一個Beta embedding由n（超參數）個獨立的Beta分布組成，2n維度，用于獲取給定實體或者查詢的不同方面的特征,為了便于說明，下面的n=1進行解釋

2-邏輯操作：

? 由于DM定律的存在，我們只用定義三種邏輯操作符號：Relation Projection（關系投影）、Intersection（交）、Negation（非）

• Probabilistic Projection Operator P：輸入一個beta embedding S，輸出一個beta embedding S ′,本質上是為每個關系學習一個MLP，把2n維向量

$$S\prime =MLPr(S)$$

• Probabilistic Intersection Operator I：輸入一個beta embedding集合
  $$S1,...,Sn$$
  輸出一個beta emdedding Ps_inter，本質上是把交操作建模為多個Beta嵌入的概率密度分布的加權積，其中的權重wi通過注意力機制獲得：

? 其實在具體計算參數操作上，等價于把n維beta向量，按維度相加：
$$Sinter=[(\sum wi\alpha i,\sum wi\beta i)]$$

• Probabilistic Negation Operator N：輸入一個Beta embedding S，輸出一個補集Beta embedding N(S)，本質上在參數向量的計算上就是把兩個參數取倒數：
  $$N([(\alpha ,\beta )])=[(1/\alpha ,1/\beta )]$$

  讓我們回頭看一下這三個操作的性質：關系投影P用MLPr學習關系屬于常規操作，不需要贅述；交操作I等價于beta參數加權和；非操作等價于beta參數取倒數，并且加權和和取倒數對于beta分布的影響成功符合了我們直覺上對交和非的理解，在交操作加權和下，眾多beta分布的交分布的高概率密度區域取到了絕大多數分布的高概率密度區域，低者亦然；在非操作下，高低概率密度區域互換。

3-學習過程：

對于一個查詢query，通過計算圖上的計算，最終將它嵌入成一個beta embedding q，通過計算q與候選答案v的距離，進行排序得到最終的推理結果。距離定義為KL散度：

使用基于負采樣的最大間隔化的損失函數進行訓練：

總結

以上是生活随笔為你收集整理的《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。