論文作者：Farahnaz Akrami，美國德州大學(xué)阿靈頓分校，博士生。

筆記整理：南京大學(xué)，張清恒，碩士生。

---

? ? ?

鏈接：https://arxiv.org/pdf/2003.08001.pdf

代碼：https://github.com/idirlab/kgcompletion

一、概述

目前的知識圖譜（KG）規(guī)模龐大，但還遠遠不夠完備。近年來，知識圖譜補全（KGC）研究已然成為熱門話題，其目標(biāo)是將缺失的事實補充到KG中。研究者們對KG表示學(xué)習(xí)模型或嵌入（embedding）模型進行了廣泛的研究，提出了眾多新的嵌入模型。我們進行了實驗研究以評估這些方法，本文將發(fā)表在SIGMOD 2020。

本文主要研究了KGC方法的真實有效性，同時發(fā)現(xiàn)了基準(zhǔn)數(shù)據(jù)集FB15k、WN18以及YAGO3-10中存在的缺陷。這些數(shù)據(jù)集被廣泛用于訓(xùn)練和評估眾多嵌入模型，它們包含大量的反向和重復(fù)三元組，本文揭示了這些數(shù)據(jù)集中存在的數(shù)據(jù)冗余和測試集遺漏問題對嵌入模型的影響。本文研究的另一問題是FB15k數(shù)據(jù)集中存在笛卡爾積關(guān)系。數(shù)據(jù)集中存在的上述問題會導(dǎo)致模型準(zhǔn)確性出現(xiàn)誤差。此外，使用這些數(shù)據(jù)集訓(xùn)練KGC模型容易導(dǎo)致過擬合，使用上述三元組優(yōu)化的模型，很難被推廣到真實的應(yīng)用場景中。簡而言之，通過研究有以下發(fā)現(xiàn)：

廣泛使用的基準(zhǔn)數(shù)據(jù)集中存在數(shù)據(jù)冗余和測試集遺漏等問題，導(dǎo)致許多模型的準(zhǔn)確性被高估了19％-175％；

我們發(fā)現(xiàn)笛卡爾積關(guān)系也會導(dǎo)致性能評估出現(xiàn)誤差；

用于評估模型的許多測試用例在現(xiàn)實場景中不是真實存在的。

二、嵌入模型與相關(guān)數(shù)據(jù)集

對于KG中的三元組(head entity, relation, tail entity)，使用 (h, r, t) 表示，嵌入模型學(xué)習(xí)它們的多維表示 h，r，t。眾所周知，數(shù)據(jù)集在訓(xùn)練機器學(xué)習(xí)模型中起著重要作用。用于訓(xùn)練和測試嵌入模型的數(shù)據(jù)集存在各種問題，因此這些模型在真實場景下難以發(fā)揮效果。

FB15k & FB15k-237

FB15k數(shù)據(jù)集中包含很多反向關(guān)系，存在大量的反向三元組(h,r,t)和(h,r^{-1}, t)，其中 r 和 r^{-1} 是反向關(guān)系。例如，(Avatar, film/directed_by, James Cameron)和(James Cameron, director/film, Avatar)是一對反向三元組。事實上，Freebase 使用一種特殊的關(guān)系reverse_property 來表示反向關(guān)系，例如，(film/directed_by, reverse_property, director/film)。在FB15k中，訓(xùn)練集中大約有70%的三元組存在反向關(guān)系，在測試集中大約有70%的三元組，其對應(yīng)的反向三元組存在于訓(xùn)練集中。

這些數(shù)據(jù)特征表明，在鏈接預(yù)測任務(wù)中，嵌入模型將偏向于學(xué)習(xí)反向關(guān)系。更具體地說，該任務(wù)在很大程度上可以推斷出兩個關(guān)系r1和r2是否形成反向?qū)Α？紤]到數(shù)據(jù)集中存在大量的反向三元組，可以不使用復(fù)雜的實體和關(guān)系嵌入模型實現(xiàn)上述目標(biāo)。可以使用數(shù)據(jù)集中三元組的統(tǒng)計信息來生成類似(h,r1,t) => (h, r2, t)形式的簡單規(guī)則。實際上，本文使用這樣一個簡單的模型，在FB15k上 FHits@1↑ 指標(biāo)達到了71.6%，作為對比，目前性能最優(yōu)的模型在FB15k上FHits@1↑ 的結(jié)果為73.8%。

值得注意的是，如果給定這類數(shù)據(jù)，鏈接預(yù)測任務(wù)在真實世界中是不存在的。對于FB15k而言，來自Freebase的冗余反向關(guān)系是人為創(chuàng)建的。新的事實總是作為一對反向三元組添加到Freebase中，由關(guān)系reverse_property明確表示。對于這種總是成對出現(xiàn)的內(nèi)在逆向關(guān)系，當(dāng)某個三元組對應(yīng)的反向三元組已經(jīng)出現(xiàn)在KG中時，我們是不需要預(yù)測該三元組的。因此，使用FB15k訓(xùn)練KGC模型會出現(xiàn)過擬合問題，因為學(xué)習(xí)的模型針對反向三元組進行了優(yōu)化，而反向三元組無法推廣到實際應(yīng)用中。

文章[1]注意到了FB15k存在的上述問題，并通過去除反向關(guān)系構(gòu)造了新的數(shù)據(jù)集FB15k-237。為了進一步研究FB15k中冗余數(shù)據(jù)的影響，我們進行了一些實驗，比較了FB15k與FB15k-237上的幾種嵌入模型的結(jié)果，下表顯示了這些模型在不同指標(biāo)上的結(jié)果。

? ? ? ? ? ? ?

通過實驗得出的總體觀察結(jié)果如下：

1. 刪除反向關(guān)系后，所有方法的性能都會大大降低。正如下面的雷達圖所示，在FB15k-237上嵌入模型的性能大大降低。該結(jié)果驗證了基于嵌入的方法只能在反向關(guān)系上表現(xiàn)良好，然而，基于反向關(guān)系推理的直接方法可以實現(xiàn)相當(dāng)甚至更高的精度。

? ? ? ? ? ? ?

2. 先前的很多工作認為一些基于TransE的改進方法明顯優(yōu)于TransE，我們在FB15k上的實驗也證實了這一點，但在FB15k-237上它們的差距并不大。我們認為這些模型主要在反向和重復(fù)三元組上提升了結(jié)果，因此在刪除這些三元組后，它們沒有表現(xiàn)出明顯的優(yōu)勢。這個假設(shè)可以通過我們的發(fā)現(xiàn)得到驗證，這些模型能夠正確預(yù)測而TransE未能正確預(yù)測的大多數(shù)三元組，在訓(xùn)練集中都有反向或重復(fù)的三元組。

WN18 & WN18-RR

WN18也存在反向關(guān)系的問題，WN18中共有18種關(guān)系，其中14種關(guān)系構(gòu)成了7對反向關(guān)系對，例如(europe, has_part, republic_of_estonia)和(republic_of_estonia, part_of, europe)是反向三元組，它們涉及到的反向關(guān)系是has_part和part_of。與此同時，WN18中還有三種自反關(guān)系，分別是verb_group、similar_to和derivationally_related_form。訓(xùn)練集中約有93％的關(guān)系三元組，而測試集中有93％的三元組，在訓(xùn)練集種存在反向三元組。

為了消除WN18反向關(guān)系，文章[2]通過保留每對反向關(guān)系中的一個關(guān)系，構(gòu)造了新的數(shù)據(jù)集WN18-RR。我們比較了在WN18和WN18-RR上嵌入模型的結(jié)果，得出的結(jié)論與在FB15k和FB15k-237上觀察到的結(jié)論相同。具體結(jié)果如下表所示。

?? ? ?? ? ??

YAGO3-10 & YAGO3-10-DR

YAGO3-10具有37種關(guān)系，其中isAffiliatedTo (r1)和playsFor (r2)這兩個關(guān)系所涉及到的三元組，在訓(xùn)練集種分別占35％和30％。在現(xiàn)實世界的語義上，r1包含r2，但由于它們的(subject, object)對基本上重疊，因此它們在此數(shù)據(jù)集中以重復(fù)關(guān)系出現(xiàn)。根據(jù)我們的實驗，各種模型在r1和r2上取得的結(jié)果比其他關(guān)系要強得多。通過刪除YAGO3-10中的冗余數(shù)據(jù)，本文構(gòu)造了一個新的數(shù)據(jù)集YAGO3-10-DR。通過對比YAGO3-10和YAGO3-10-DR，我們得出的結(jié)論與在其他數(shù)據(jù)集上觀察到的結(jié)論相同。

三、笛卡爾積關(guān)系

本文還在FB15k上發(fā)現(xiàn)了另一個問題，本文稱為笛卡爾積關(guān)系（Cartesian product relations）問題，這個問題會導(dǎo)致嵌入模型的現(xiàn)有性能指標(biāo)與實際不符。對于一個笛卡爾關(guān)系，其所涉及到的三元組中的subject-object對構(gòu)成了對應(yīng)的笛卡爾積。例如，關(guān)系climate是一個笛卡爾積關(guān)系，因為(a, climate, b)對于每個可能的城市a和月份b，都是有效的三元組。再例如，關(guān)系position也是一個笛卡爾積關(guān)系，因為在確定的職業(yè)體育聯(lián)盟中的每個隊伍都有相同的位置。對于這樣的關(guān)系，鏈接預(yù)測問題就變成了預(yù)測一個城市是否有其一月份的氣候，或者某支NFL球隊是否有四分衛(wèi)位置。這些關(guān)系的存在變相提高了模型的精度，而且這樣的預(yù)測任務(wù)意義不大。與我們觀察到的反向關(guān)系相同，FB15k中笛卡爾積關(guān)系也是人為構(gòu)建的。實際上，60％的笛卡爾積關(guān)系是由特殊的“中介節(jié)點”造成的。如果要對笛卡爾積關(guān)系進行鏈接預(yù)測，一種簡單的方法比學(xué)習(xí)復(fù)雜的嵌入模型更有效。我們實現(xiàn)了一種簡單的方法來查找笛卡爾積關(guān)系，并在這些關(guān)系上進行鏈接預(yù)測任務(wù)。我們在FB15k中的9個笛卡爾積關(guān)系上進行了實驗，使用簡單方法獲得的平均FHits@10↑ 為98.3％，高于TransE的效果（96.3％）。

?

參考文獻

[1]Toutanova, Kristina , and D. Chen. "Observed Versus Latent Features for Knowledge Base and Text Inference." Workshop on Continuous Vector Space Models & Their Compositionality 2015.

[2]Tim, Dettmers, and Pasquale, Minervini, and Pontus, Stenetorp, and Sebastian, Riedel. "Convolutional 2D Knowledge Graph Embeddings." AAAI 2018.

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 重新实验评估知识图谱补全方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。