论文浅尝 | AAAI2020 - 基于规则的知识图谱组合表征学习
論文筆記整理：康矯健，浙江大學計算機科學與技術系，碩士研究生。
? ? ?? ? ? ?
論文鏈接：https://arxiv.org/pdf/1911.08935.pdf
發表會議：AAAI 2020
Motivation
現有的KG Embedding方法大部分僅關注每個三元組的結構化信息
有部分的工作把KG中的路徑信息考慮在內而不僅僅是每次只考慮單個三元組，但是這種方法在獲得路徑表示的時候缺乏可解釋性。
因此本文提出一種基于規則和路徑的知識圖譜表征學習方法，能夠充分利用logic rules的可解釋性和準確性。
?
Model
1. 挖掘規則：利用現有KG中的規則挖掘工具（如AMIE）自動從KG中抽取出規則，總共兩類，包括長度為1的規則和長度為2的規則，每條規則有一個置信度 ? ? ? ? ? ? ?
? ? ? ? ? ? ?
2. 挖掘KG中實體之間的路徑：利用PtransE自動挖掘頭實體h和尾實體t之間存在的路徑p，每條路徑p有一個置信度 ? ? ? ? ? ? ? ? ? ? ? ? ? ?。
3. 利用挖掘出來的規則和實體之間的路徑做實體的組合表征學習。
? ? ? ? ? ? ?
如上圖所示PtransE挖掘出實體David和USA之間的一條路徑如下
? ? ? ? ? ? ?
AMIE挖掘出2條長度為2的規則
? ? ? ? ? ? ?
? ? ? ? ? ? ?
一條長度為1的規則
? ? ? ? ? ? ?
之后用長度為2的規則對路徑做composition，其中長度為2的規則中的第一條可以將
? ? ? ? ? ? ?
組合成
? ? ? ? ? ? ?
之后長度為2的規則中的第二條可以將
? ? ? ? ? ? ?
組合成
? ? ? ? ? ? ?
之后根據長度為1的規則，我們需要讓
? ? ? ? ? ? ?和 ? ? ? ? ? ? ?的embedding之間的距離盡可能接近。
4. 損失函數
? ? ? ? ? ? ?
總共三個score function。
其中第一個score function源于TransE，不做過多解釋。
第二個score function ? ? ? ? ? ? ?表示利用PtransE挖掘出來的h和t之間路徑p的置信度， ? ? ? ? ? ? ?中 ? ? ? ? ? ? ?表示組合路徑p使用的所有長度為2的規則的置信度集合， ? ? ? ? ? ? ?表示其中使用的第i條的置信度。 ? ? ? ? ? ? ?中 ? ? ? ? ? ? ?表示最終通過長度為2的規則組合出來的路徑embeding，有兩種情況，一種是最終路徑只剩下一個關系，那么 ? ? ? ? ? ? ?就是這個關系的embedding，否則 ? ? ? ? ? ? ?就是路徑剩下所有關系embedding相加。
第三個score function ? ? ? ? ? ? ?中 ? ? ? ? ? ? ?和 ? ? ? ? ? ? ?分別是長度為1的規則中的兩個關系。
最終的損失函數為
? ? ? ? ? ? ?
其中
? ? ? ? ? ? ?
分別是對對應三個score function的Margin Loss損失函數，其中第一個損失函數的負樣本是隨機將h、r、t替換掉；第二個損失函數及第三個是隨機替換掉關系。
?
5. 模型整體框架如下
? ? ? ? ? ? ?
Experiment
數據集情況：總共使用4個數據集。FB15K和FB15K-237是從Freebase中抽取的，WN18從WordNet中抽取，NELL-995從NELL中抽取。其中FB15-237是不包括inverse關系的，因此FB15K和FB15K-237一般被認為是兩個不一樣的數據集。
? ? ? ? ? ? ?
本文做的實驗包括relation prediction和entity prediction。
利用AMIE+挖掘出來的規則如下，每條規則會有一個0到1的閾值
? ? ? ? ? ? ?
評估指標
MR：the mean rank of correct entities
MRR：the mean reciprocal rank of correct entities
Hits@n ：the proportion of test triples for which correct entity is ranked in the top n predictions
一個三元組的socre如下
? ? ? ? ? ? ?
baseline的選擇：第一種是TransE、TransR、TransH等Embedding methods；第二種是path-based的methods，如PtransE和DPTransE等。
第一個實驗：rule置信度和路徑長度對最終模型性能的影響
? ? ? ? ? ? ?
我們可以看到RPJE-S2的性能優于RPJE-S3說明采用長度最多為2的路徑要優于采用長度最多為3的路徑，這說明路徑長度過長會使得在path composition的過程中引入過多噪音導致準確率下降。
RPJE-S2性能優于PTransE說明引入規則能夠帶來性能提升；
RPJE-S2性能優于RPJE-min說明規則的置信度需要引入到模型中，并更多關注那些置信度高的規則。
最終路徑長度選擇2，并過濾掉那些置信度小于0.7的規則
第二個實驗：FB15K上的relation prediction和entity prediction，以及FB15K-237上的entity prediction。可以發現RPJE在所有指標上都比baseline好，說明了引入規則和路徑的有效性。值得注意的是FB15-237中是沒有inverse relation的，那么此時因此rules更能挖掘出關系之間的聯系。
? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ?
第三個實驗：在WN18和NELL-995是關系很稀疏的兩個數據集，因此可以挖掘的規則和路徑少，但是RPJE仍然好于baseline，只是提升的程度比FB15K上的少，這說明RPJE可以在各種類型的KG中都有很好的表現，但是更能在那些關系比較多的KG中有好的表現。
? ? ? ? ? ? ?
第四個實驗：引入規則為我們提供了可解釋性。
? ? ? ? ? ? ?
例如我們挖掘的規則中有上面這樣一條規則，那么在測試的時候我們就知道在預測出來x和y之間有filmlanguage的時候的依據是什么。
?
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | AAAI2020 - 基于规则的知识图谱组合表征学习的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文浅尝｜简单高效的知识图谱表示学习负样
- 下一篇： TCC分布式实现原理及分布式应用如何保证