论文浅尝 | AutoETER: 用于知识图谱嵌入的自动实体类型表示
論文鏈接：https://arxiv.org/pdf/2009.12030.pdf
動機(jī)
傳統(tǒng)的KGE使用附加的類型信息改善實體的表示，但是這些方法完全依賴于顯式類型，或者忽略了特定于各種關(guān)系的不同類型表示，并且這些方法目前都不能同時推斷出對稱性、反演和組成的所有關(guān)系模式，以及1-N、N-1和N-N關(guān)系的復(fù)雜性質(zhì)。所以為了探索任何知識圖譜的類型信息，我們提出了通過將每個關(guān)系作為具有關(guān)系感知投影機(jī)制的兩個實體類型之間的轉(zhuǎn)換操作來學(xué)習(xí)每個實體的潛在類型嵌入。此外，我們設(shè)計的模型是一個可插拔模塊，因此可以很容易地與任何KGE模型合并。
亮點
1）從特定實體的三元組和特定類型的三元組中學(xué)習(xí)實體、關(guān)系和實體類型的嵌入。類型嵌入可以與實體嵌入一起合并以進(jìn)行推理。
2）首次建模和推斷所有的關(guān)系模式，包括對稱、反轉(zhuǎn)和組成，以及KG推理的1-N、N-1和N-N的復(fù)雜關(guān)系。
概念以及模型
?????? 提出的模型是AutoETER，它的目的是自動學(xué)習(xí)一種語義上兼容各種關(guān)系的類型表示的變體，并推斷出所有的關(guān)系模式和復(fù)雜關(guān)系。整個流程分為四個部分，分別是：1. 通過具有超平面投影策略的實體特定的三重編碼器將實體和關(guān)系嵌入到復(fù)雜空間中。2. 特定類型的三重編碼器來學(xué)習(xí)與關(guān)系感知投影機(jī)制相結(jié)合的類型嵌入。3. 提出了受相關(guān)關(guān)系導(dǎo)出的相似性約束。4. 提出了具有實體特定的三重表示和類型特定的三重表示的總體優(yōu)化目標(biāo)和類型嵌入的相似性約束。
?????? 模型整體結(jié)構(gòu)如下圖所示。
實體的三重編碼器
?????? 我們將實體和關(guān)系嵌入到復(fù)雜空間中，并將關(guān)系視為從頭實體到尾實體的旋轉(zhuǎn)操作。為了推斷復(fù)雜關(guān)系，我們將實體投影到其相關(guān)關(guān)系超平面中，以確保每個實體都有關(guān)于特定關(guān)系的各種表示。根據(jù)實體三元組（h，r，t），得到能量函數(shù)E1(h,r,t)：
?????? 由于特定于實體的三元組的嵌入，我們的模型可以通過從頭到尾實體的旋轉(zhuǎn)操作來推斷出所有的關(guān)系模式。
關(guān)系的三重編碼器
?????? 給定實體e和關(guān)系r，首先利用關(guān)系感知投影機(jī)制學(xué)習(xí)類型和關(guān)系嵌入。
因此在特定類型的三元組所涉及的能量函數(shù)定義為
關(guān)于等式中的能量函數(shù)我們期望這樣：
此外，隨著在真實空間中學(xué)習(xí)的類型和關(guān)系嵌入，我們的模型將花費(fèi)更少的參數(shù)建模和推斷所有的關(guān)系模式。
定理1：我們的模型可以通過特定類型的三重嵌入來推斷對稱的關(guān)系模式。
證明過程：如果關(guān)系r為對稱的，則將保留兩個三元組（h、r、t）和（t、r、h），根據(jù)等式5可知：
根據(jù)等式6可推理得到：
?
證明了對稱關(guān)系的嵌入應(yīng)為零向量，頭尾實體的類型嵌入應(yīng)相等。
定理2：我們的模型能夠通過特定類型的三重嵌入來推斷出反演的關(guān)系模式
證明過程：對于反關(guān)系r1和r2，兩個三元組（h、r1、t）和（t、r2、h）保持不變。根據(jù)等式3,4,5可得到：
?
然后我們定義一個轉(zhuǎn)移矩陣P：
把等式9帶入等式10中可得到：
?
再把等式11帶入8中可得到：
?
因此我們的模型可以通過特定類型的三重嵌入來推斷出反演的關(guān)系模式。
???? 定理3：我們的模型能夠通過特定類型的三重嵌入來推斷組成的關(guān)系。
?????? 證明過程：由于組合模式r3（a、c）?r1（a、b）∧r2（b、c）的關(guān)系，對應(yīng)的三元組（a、r1、b）、（b、r2、c）和（a、r3、c）保持不變。根據(jù)等式3,4,5可得到：
?
然后我們定義一個轉(zhuǎn)移矩陣P和Q：
將等式16帶入13，17帶入14中，我們可以得到：
?
把等式18帶入19中，可以得到：
?
結(jié)合等式15和20，我們可以將組合模式的關(guān)系嵌入之間的相關(guān)性建模為：
?
因此證明了我們的模型能夠通過特定類型的三重嵌入來推斷組成的關(guān)系。
類型編碼相似度約束
?????? 具有相同關(guān)系的三元組中涉及的頭實體的類型嵌入彼此更接近（與尾實體的類型嵌入相同）。因此，對于兩個具有相同關(guān)系的三元組，我們希望：
任意兩個三元組(h1、r1、t1)和(h2、r2、t2)，我們設(shè)計了能量函數(shù)來評估類型嵌入的差異為：
?
優(yōu)化目標(biāo)
?????? 我們根據(jù)一個三分量的目標(biāo)函數(shù)來優(yōu)化我們的模型：
?
L1和L2是兩個成對損失函數(shù)，分別對應(yīng)于實體特定的三重編碼器和類型特定的三重編碼器，L3是用于約束類型嵌入的三重?fù)p失函數(shù)。α1和α2表示在實體特定的三重、類型特定的三重和類型相似度約束之間的權(quán)衡的L2和L3的權(quán)重。其中，L1,L2,L3的具體定義為:
實驗
?????? 使用了四個標(biāo)準(zhǔn)數(shù)據(jù)集來進(jìn)行鏈路預(yù)測任務(wù)，分別是FB15K、WN18、YAGO3-10、FB15K-237。
模型的評估指標(biāo)是
MR：正確三元組的平均排名
MRR：正確三元組的平均順向排名
Hits@n：前候選三元組中正確三元組的比例。
實驗結(jié)果如下圖所示：
這些結(jié)果證明了用我們的模型來建模和推斷所有關(guān)系模式和復(fù)雜關(guān)系的優(yōu)越性。
?? 因為FB15K存在更多不同的關(guān)系，我們選擇FB15K通過映射1-1、1-N、N-N和N-N關(guān)系來評估鏈路預(yù)測性能。結(jié)果見下圖。我們的模型在頭實體預(yù)測和尾實體預(yù)測方面都比其他基線特別是RotatE取得了更好的性能，這說明了捕獲針對關(guān)系感知投影機(jī)制的不同關(guān)系的不同表示來表示實體類型的優(yōu)越性。
總結(jié)和未來工作
在本文中，我們引入了兩類編碼器來學(xué)習(xí)實體特定的三重嵌入和類型特定的三重嵌入，它可以建模和推斷所有對稱、反轉(zhuǎn)和組成的關(guān)系模式，以及復(fù)雜的1-N、N-1和N-N關(guān)系。我們還根據(jù)類型的相似性來約束類型嵌入。在未來的工作中，我們打算擴(kuò)展我們的方法，以獲得包含本體監(jiān)督的更好的類型表示。
?
?
OpenKG
OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進(jìn)知識圖譜算法、工具及平臺的開源開放。
點擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。
總結(jié)
以上是生活随笔為你收集整理的论文浅尝 | AutoETER: 用于知识图谱嵌入的自动实体类型表示的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 征稿 | 2019年全国知识图谱与语义计
- 下一篇： 论文浅尝 - ACL2020 | 利用常