论文浅尝 \ 联合知识图谱实例和本体概念的通用表示学习
論文筆記整理：周虹廷，浙江大學研究生。研究方向：知識圖譜，圖表示學習等。
? ? ??
論文鏈接：
http://web.cs.ucla.edu/~yzsun/papers/2019_KDD_JOIE.pdf
?
本文是發表在KDD 2019上的關于知識圖譜表示學習的論文。現有知識圖譜表示模型通常只關注在單一視圖，即實例層面或是本體層面，本文認為兩個層面的信息存在相互增強促進的作用，因此一種新穎的雙視圖(聯合)知識圖譜表示模型被提出來生成更好的節點和關系的表示。在三元組補全任務和實體分類任務上，本文的模型結果明顯優于已存在的模型。
?
1、Motivation
現有的知識圖譜可被分別兩類：（1）實例視圖的知識圖譜，（2）本體視圖的知識圖譜，并且在兩個視圖間存在跨視圖的鏈接，如圖1所示。
? ? ? ? ?? ?
現有的模型通常只關注于單一層面的建模，而從上述的兩個層面共同學習表示毫無疑問會提供更全面的視角。一方面，實例表示為其相應的本體表示提供詳細而豐富的信息。另一方面，概念表示提供了其實例的高級總結，這對于處理觀察不充分的實體時將提供極大的幫助。
因此本文提出通過兩個視圖分別的三元組以及跨視圖鏈接聯合建模，有效地將知識圖譜兩個視圖上的表示學習技術有效地結合在一起。
2、Model
本文提出的JOIE模型包含兩個模型組件，可從兩個視圖中學習嵌入：跨視圖關聯模型通過捕獲來自相應概念實體的實例來實現兩個視圖之間的連接和信息流，而視圖內模型則關注知識庫的每個視圖上的實體/概念以及關系/元關系。這些模型組件用于學習KB的不同方面。我們首先討論每個視圖的跨視圖關聯模型和視圖內模型，然后將它們組合為JOIE的各類變體模型。
跨視圖關聯模型
跨視圖關聯模型的目標是基于KB中的跨視圖鏈接，捕獲實體嵌入空間與概念嵌入空間之間的關聯，這是本文的主要貢獻。本文基于兩種不同的假設提出了兩種對此類關聯進行建模的技術：跨視圖分組（CG）和跨視圖轉換（CT）。
? ? ? ? ? ? ?
(a) 跨視圖分組（CG）
假設兩個視圖的知識圖譜可以在同一個向量空間中被表示，并且讓實例視圖中所有的實體e靠近本體視圖中其相關聯(鏈接)的概念c。該方法要求兩個視圖中節點表示的緯度相同， loss函數如下：
? ? ? ? ? ? ?
?
(b) 跨視圖轉換（CT）
不同于跨試圖分組方法，跨視圖轉換方法試圖在實體嵌入空間和概念空間之間轉換信息，并且不要求兩個視圖中節點的表示具有相同的緯度。即在轉換之后，實例將被映射為本體視圖空間中的表示，該表示應與其相應概念的表示接近，loss函數如下：
? ? ? ? ? ? ?
視圖內模型
視圖內模型的目的是在兩個向量空間中分別保留知識圖譜的每個視圖中的原始結構信息。由于實例視圖中的關系和本體視圖中的元關系的語義含義不同，因此為每個視圖提供單獨的處理，而不是將它們組合為單個表示模式將更為合理，從而提高下游任務的性能。
我們采用了三種已有的對知識圖譜進行表示的方法，即TransE，DistMult，HolE。
由于觀察到在本體視圖中還存在層級結構因此本文進一步提出本體的層次感知內部視圖模型。與跨視圖轉換相似，在給定概念對（c_l，c_h）的情況下，通過以下方式將此類層次結構建模為粗略概念和關聯的細微概念之間的非線性轉換，loss函數更新為：
? ? ? ? ? ? ?
雙視圖知識庫聯合訓練
兩個視圖的loss聯合函數如下，ω>0作為兩部分的平衡系數：
? ? ? ? ? ? ?
本文并沒有直接訓練J，而是在每個epoch的連續兩步中的分別計算 J_intra和 J_cross，并利用ω區分視圖內和交叉視圖損失的學習率。
?
3、Experiment
1. 數據集
由于現存的知識圖譜數據集僅覆蓋了單視圖，因此作者分別從YAGO和DBpedia中抽取數據，并分別提出了兩個新的數據集YAGO26K- 906 and DB111K-174，具體統計信息如下
? ? ? ? ? ? ?
2. 實驗結果
本文基于兩組任務來評估JOIE模型：實例視圖和本體視圖KG上的三元組補全任務，以及橋接知識庫的兩個視圖的實體分類任務。結果顯示，在兩個任務上，由于雙視圖信息的相互補充，得到了更好的表示結果，從而有效提升了結果表現。
? ? ? ? ? ? ? ? ? ? ? ? ? ?
?
3.Case Study
本文還提供了有關本體填充和長尾關系分類的案例研究如下：
? ? ? ? ? ? ?
? ? ? ? ? ? ?
? ? ? ? ? ? ?
?
4、結論
本文通過提出一種新穎的模型JOIE共同表示現實世界的實體和本體論概念。通過描述了一個雙視圖的知識庫，在向量空間中共同捕獲了每個視圖的結構化知識，以及將兩個視圖聯系起來的跨視圖鏈接。基于KG完成和實體分類任務的大量實驗表明，我們的模型JOIE可以成功地從KB的兩個視圖中捕獲潛在特征，并且勝過各種最新的基準
?
?
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 \ 联合知识图谱实例和本体概念的通用表示学习的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文浅尝 | 基于时序知识图谱的问答
- 下一篇： 论文浅尝 | 基于平行新闻的Bootst