18-Gm-TransH:Group-Constrained Embedding of Multi-fold Relations in Knowledge Bases,嵌入,transH,n-ary
文章目錄
- abstract
- 1. introduction
- 2 Related Work
- 2.1 Binary Relation Embedding
- 2.2 Multi-fold Relation Embedding
- 3 Group-Constrained Embedding
- 3.1 Framework
- 3.2 Optimizing Method
- 3.3 Proposed Model
- 3.4 Complexity Analysis
- 4.實(shí)驗(yàn)
- 4.1 數(shù)據(jù)集
- 4.2 Link Prediction
- 4.3 Instance Classi?cation
- 5.總結(jié)
Huang, Y., et al. (2019). Group-Constrained Embedding of Multi-fold Relations in Knowledge Bases. Natural Language Processing and Chinese Computing: 235-248.
abstract
知識(shí)庫(kù)的表示學(xué)習(xí)旨在將實(shí)體和關(guān)系都嵌入到連續(xù)的向量空間中。大多數(shù)現(xiàn)有模型(例如TransE,DistMult,ANALOGY和ProjE)僅考慮知識(shí)庫(kù)中涉及的二進(jìn)制關(guān)系,而將多重關(guān)系轉(zhuǎn)換為三元組并視為二進(jìn)制關(guān)系的實(shí)例,從而導(dǎo)致結(jié)構(gòu)信息丟失。M-TransH是最近提出的用于多重關(guān)系的直接建??蚣?#xff0c;但忽略了某些事實(shí)屬于同一關(guān)系的關(guān)系級(jí)信息。本文提出了一種組約束嵌入方法,該方法將實(shí)體節(jié)點(diǎn)和事實(shí)節(jié)點(diǎn)從實(shí)體空間嵌入到關(guān)系空間中,將與同一關(guān)系相關(guān)的嵌入事實(shí)節(jié)點(diǎn)限制為具有零約束,半徑約束或余弦約束的組。使用此方法,提供了一個(gè)新模型,即Gm-TransH。我們?cè)阪溄宇A(yù)測(cè)和實(shí)例分類任務(wù)上評(píng)估了我們的模型,實(shí)驗(yàn)結(jié)果表明Gm-TransH明顯優(yōu)于以前的多重關(guān)系嵌入方法,并取得了出色的性能。
- 實(shí)體/關(guān)系嵌入(到連續(xù)的向量空間中)
- 二元關(guān)系:例如TransE,DistMult,ANALOGY和ProjE)
- 多重關(guān)系嵌入
- 二元關(guān)系的方法用于多重關(guān)系(多重關(guān)系轉(zhuǎn)化為多個(gè)三元組,對(duì)每個(gè)三元組用二元關(guān)系的方法)
- 問題:二元關(guān)系的方法若用于多重關(guān)系,將之轉(zhuǎn)換為三元組,視為二元關(guān)系,導(dǎo)致信息丟失
- 出現(xiàn)謂詞的異質(zhì)性heterogeneity,不利于嵌入
- 解決:M-TransH
- M-TransH的問題:忽略了某些事實(shí)屬于同一關(guān)系的關(guān)系級(jí)信息
- 解決:本文Gm-TransH
- Gm-TransH:
- 任務(wù):將實(shí)體節(jié)點(diǎn)和事實(shí)節(jié)點(diǎn)從實(shí)體空間嵌入到關(guān)系空間中
- 動(dòng)機(jī):考慮某些事實(shí)屬于同一關(guān)系的關(guān)系級(jí)信息
- 做法:以使嵌入的事實(shí)向量接近超平面上其對(duì)應(yīng)的關(guān)系向量
- 優(yōu)化:組約束嵌入方法:Group-Constrained Embedding
- 約束:
- 目的:將同一關(guān)系的事實(shí)節(jié)點(diǎn)限制在組中:
- 策略:零約束、半徑約束、余弦約束
- 約束:
- 對(duì)應(yīng)于三種策略的三個(gè)模型變體:Gm-TransH:zero, Gm-TransH:radius, Gm-TransH:cosine
1. introduction
表示學(xué)習(xí)[7]已被提出作為一種新的知識(shí)庫(kù)表示和推理方法。它嵌入了實(shí)體和實(shí)體之間的關(guān)系。實(shí)體和關(guān)系的表示是通過最小化涉及所有實(shí)體和關(guān)系的全局損失函數(shù)獲得的。與傳統(tǒng)的基于邏輯的推理方法相比,表示學(xué)習(xí)在語(yǔ)義搜索,問題解答,藥物發(fā)現(xiàn)和疾病診斷等應(yīng)用中顯示出強(qiáng)大的可行性和魯棒性。
- 知識(shí)圖譜應(yīng)用的方法
- 基于邏輯的推理方法
- 表示學(xué)習(xí)
- 實(shí)體和關(guān)系的表示,通過最小化相關(guān)的所有實(shí)體和關(guān)系的全局損失得到
- 更穩(wěn)定、可行
盡管取得了令人鼓舞的成就,但大多數(shù)現(xiàn)有的表示學(xué)習(xí)技術(shù)(例如TransE [1],DistMult [18],ANALOGY [9]和ProjE [12])僅考慮知識(shí)庫(kù)中包含的二元關(guān)系,即三元組每個(gè)都涉及兩個(gè)實(shí)體和一個(gè)關(guān)系。例如,“唐納德·J·特朗普是美國(guó)總統(tǒng)”由兩個(gè)實(shí)體組成:“唐納德·J·特朗普。特朗普”,“美國(guó)”和二元關(guān)系“一國(guó)總統(tǒng)”。但是,我們現(xiàn)實(shí)生活中大量的知識(shí)是具有多重關(guān)系(n元, 2)的實(shí)例,在一個(gè)實(shí)例中涉及三個(gè)或更多實(shí)體(例如“哈利·波特是英美電影系列根據(jù)作者JK羅琳的哈利波特小說(shuō)”)。解決此問題的通用方法是將每個(gè)多重關(guān)系轉(zhuǎn)換為具有二進(jìn)制關(guān)系的三元組,并使用現(xiàn)有的Trans(E,H,R)方法學(xué)習(xí)每個(gè)三元組的嵌入。因此,具有N元關(guān)系的實(shí)例將轉(zhuǎn)換為2)三元組[17]。盡管這種轉(zhuǎn)換能夠捕獲多重關(guān)系結(jié)構(gòu)的一部分[11],但它導(dǎo)致謂詞的異質(zhì)性,不利于嵌入。Wen等。 [17]提倡多重關(guān)系的實(shí)例表示,并提出了用于知識(shí)庫(kù)嵌入的直接建??蚣堋?m-TransH”。但是,m-TransH將事實(shí)節(jié)點(diǎn)與一般實(shí)體節(jié)點(diǎn)相同,并且忽略某些事實(shí)屬于同一關(guān)系的關(guān)系級(jí)別信息。
在本文中,我們首先提出了一種組約束嵌入方法,該方法將實(shí)體節(jié)點(diǎn)和事實(shí)節(jié)點(diǎn)從實(shí)體空間嵌入到關(guān)系空間中,使用三種不同的約束策略()將與同一關(guān)系相關(guān)的嵌入事實(shí)節(jié)點(diǎn)限制在組中。即零約束,半徑約束和余弦約束。
- 數(shù)據(jù)集
- FB15K [1]
- JF17K [17].
- 貢獻(xiàn):
- Group-Constrained Embedding 框架
- 三種約束策略:零約束,半徑約束和余弦約束
- 提出Gm-TransH和三個(gè)變體
- 清理冗余數(shù)據(jù),從JF17K數(shù)據(jù)集生成GfactG_{fact}Gfact?
(a)提出了用于多重關(guān)系嵌入的組約束嵌入框架,該框架將實(shí)體和事實(shí)節(jié)點(diǎn)都嵌入到低維向量空間中,從而迫使事實(shí)嵌入接近其對(duì)應(yīng)的關(guān)系向量。
(b)我們引入了三種不同的組約束類型:零約束,半徑約束和余弦約束。對(duì)它們的優(yōu)缺點(diǎn)進(jìn)行了經(jīng)驗(yàn)分析。
(c)整合了TransH模型,并提出了一種新模型Gm-TransH和三個(gè)變體Gm-TransH:Zero,Gm-TransH:Radius和GmTransH:Cosine用于多重關(guān)系嵌入。鏈接預(yù)測(cè)和實(shí)例分類任務(wù)的實(shí)驗(yàn)結(jié)果證明了這三種模型變體的有效性。
(d)清理冗余數(shù)據(jù)并為JF17K數(shù)據(jù)集生成一個(gè)新的子集GfactG_{fact}Gfact?。
2 Related Work
2.1 Binary Relation Embedding
- 二元關(guān)系
- TransE系列:(transilation embedding)
- TransE:(h,r,t)成立:h+r≈t(h,r,t)成立:h+r\approx t(h,r,t)成立:h+r≈t
- TransH:在不同關(guān)系下,實(shí)體的表示不同(投影)
- TransR:實(shí)體空間–>關(guān)系空間
- PTransE [7],
- TranSparse [6],
- KG2E [3]
- MultiKE [19],
- RotatE [14]
- 張量分解方法
- LFM [4],
- HolE [10]
- 神經(jīng)網(wǎng)絡(luò)方法
- ProjE [12]
- Conv2D [2],
- NKGE [15],
- CrossE [20]
- TransE系列:(transilation embedding)
2.2 Multi-fold Relation Embedding
- 多重關(guān)系嵌入
- 通常使用S2C轉(zhuǎn)換和分解框架[17]
- 多元關(guān)系->多個(gè)三元組
- 每個(gè)三元組用一次二元關(guān)系的方法
- 直接的多重關(guān)系框架
- M-TransH
- 將TransH直接泛化到multi-fold關(guān)系上
- cost function:fr(t)=∣∣Σrho∈M(Rr)ar(ρ)Pnr(t(ρ))+br∣∣22,t∈NM(Rr)M(Rr):涉及關(guān)系Rr的一組實(shí)體N:KB中的所有實(shí)體t::Rr的實(shí)例t(ρ):ρ角色的實(shí)體Pnr(z):向量z在超平面上的投影,nr:normal向量Pnr(z)=z?nrTznrnr和br:單位長(zhǎng)度正交向量f_r(t)=||\Sigma_{rho\in M(R_r)}a_r(\rho)P_{n_r}(t(\rho))+b_r||_2^2,t\in N^{M(R_r)}\\ M(R_r):涉及關(guān)系R_r的一組實(shí)體\\ N:KB中的所有實(shí)體 t::R_r的實(shí)例\\ t(\rho):\rho角色的實(shí)體\\ P_{n_r}(z):向量z在超平面上的投影,\\n_r:normal向量\\ P_{n_r}(z)=z-n_r^Tzn_r\\ n_r和b_r:單位長(zhǎng)度正交向量fr?(t)=∣∣Σrho∈M(Rr?)?ar?(ρ)Pnr??(t(ρ))+br?∣∣22?,t∈NM(Rr?)M(Rr?):涉及關(guān)系Rr?的一組實(shí)體N:KB中的所有實(shí)體t::Rr?的實(shí)例t(ρ):ρ角色的實(shí)體Pnr??(z):向量z在超平面上的投影,nr?:normal向量Pnr??(z)=z?nrT?znr?nr?和br?:單位長(zhǎng)度正交向量
- ar∈RM(Rr),Σrho∈M(Rr)ar(ρ)=0a_r\in R^{M(R_r)},\Sigma_{rho\in M(R_r)}a_r(\rho)=0ar?∈RM(Rr?),Σrho∈M(Rr?)?ar?(ρ)=0
- M-TransH
- 通常使用S2C轉(zhuǎn)換和分解框架[17]
3 Group-Constrained Embedding
3.1 Framework
- 框架
- 原始文本->知識(shí)->知識(shí)庫(kù)中多重關(guān)系的實(shí)例
- 事實(shí)節(jié)點(diǎn):特定關(guān)系的每個(gè)實(shí)例(Fact)
- 實(shí)例的實(shí)體鏈接到事實(shí)節(jié)點(diǎn)(三角形)
- 事實(shí)節(jié)點(diǎn)可以共享:實(shí)體(角色)和關(guān)系
- 組:同一個(gè)關(guān)系的屬于一個(gè)組
- 組內(nèi)fact距離近,組間距離遠(yuǎn)
我們的多重關(guān)系建??蚣苋鐖D1所示。從原始文本中提取的知識(shí)構(gòu)成了知識(shí)庫(kù)中多重關(guān)系的實(shí)例,我們引入事實(shí)節(jié)點(diǎn)來(lái)表示特定關(guān)系的每個(gè)實(shí)例,并將實(shí)例的實(shí)體鏈接到相應(yīng)的事實(shí)節(jié)點(diǎn)。這些事實(shí)節(jié)點(diǎn)可以共享某些角色(即實(shí)體)和關(guān)系。例如,在圖1中,事實(shí)2和事實(shí)4具有相同的“出生”關(guān)系,即唐納德·特朗普和伊萬(wàn)卡·特朗普都出生在紐約。我們將實(shí)體和事實(shí)節(jié)點(diǎn)都嵌入到低維向量空間中,并使具有相同關(guān)系的事實(shí)節(jié)點(diǎn)的嵌入接近,從而為每種關(guān)系類型生成一個(gè)組,而使不同關(guān)系的組彼此遠(yuǎn)離。
3.2 Optimizing Method
說(shuō)明了在知識(shí)庫(kù)中進(jìn)行多重關(guān)系嵌入的三種不同的組約束策略。我們使用零約束,半徑約束或余弦約束方法將實(shí)體,事實(shí)和多重關(guān)系從原始向量空間(即圖A)嵌入到連續(xù)向量空間(即圖B,C,D)。橙色正方形表示多重關(guān)系,綠色圓圈表示實(shí)例(即事實(shí)節(jié)點(diǎn)),藍(lán)色三角形表示一般實(shí)體。 (在線彩色圖)
將多重關(guān)系轉(zhuǎn)換為二進(jìn)制關(guān)系會(huì)導(dǎo)致謂詞的異構(gòu)性,這不利于知識(shí)庫(kù)的嵌入。M-TransH [17]將事實(shí)節(jié)點(diǎn)與一般實(shí)體節(jié)點(diǎn)相同,忽略了某些事實(shí)屬于同一關(guān)系的關(guān)系級(jí)別信息。在這里,我們提出了一種稱為組約束嵌入的優(yōu)化方法,該方法將實(shí)體節(jié)點(diǎn)和事實(shí)節(jié)點(diǎn)從實(shí)體空間嵌入到關(guān)系空間中,從而將與同一關(guān)系相關(guān)的嵌入事實(shí)節(jié)點(diǎn)限制為特定組。
- 優(yōu)化方法:組約束嵌入
- 將同一關(guān)系相關(guān)的嵌入事實(shí)節(jié)點(diǎn)限定為特定組
- cost function:fr(t)=∣∣Σrho∈M(Rr)ar(ρ)Pnr(t(ρ))+br∣∣22+β×gr(t),t∈NM(Rr)M(Rr):涉及關(guān)系Rr的一組實(shí)體N:KB中的所有實(shí)體t::Rr的實(shí)例t(ρ):ρ角色的實(shí)體Pnr(z):向量z在超平面上的投影,nr:normal向量Pnr(z)=z?nrTznrnr和br:單位長(zhǎng)度正交向量gr(t):用于限制嵌入事實(shí)向量和關(guān)系向量的懲罰項(xiàng)。前l(fā)oss,后penalty??偏置向量br:來(lái)代表關(guān)系相似度:測(cè)量事實(shí)嵌入與關(guān)系向量的距離f_r(t)=||\Sigma_{rho\in M(R_r)}a_r(\rho)P_{n_r}(t(\rho))+b_r||_2^2+\beta\times g_r(t),t\in N^{M(R_r)}\\ M(R_r):涉及關(guān)系R_r的一組實(shí)體\\ N:KB中的所有實(shí)體 t::R_r的實(shí)例\\ t(\rho):\rho角色的實(shí)體\\ P_{n_r}(z):向量z在超平面上的投影,\\n_r:normal向量\\ P_{n_r}(z)=z-n_r^Tzn_r\\ n_r和b_r:單位長(zhǎng)度正交向量\\ g_r(t):用于限制嵌入事實(shí)向量和關(guān)系向量的懲罰項(xiàng)。 \\前l(fā)oss,后penalty-- \\偏置向量b_r:來(lái)代表關(guān)系 \\相似度:測(cè)量事實(shí)嵌入與關(guān)系向量的距離fr?(t)=∣∣Σrho∈M(Rr?)?ar?(ρ)Pnr??(t(ρ))+br?∣∣22?+β×gr?(t),t∈NM(Rr?)M(Rr?):涉及關(guān)系Rr?的一組實(shí)體N:KB中的所有實(shí)體t::Rr?的實(shí)例t(ρ):ρ角色的實(shí)體Pnr??(z):向量z在超平面上的投影,nr?:normal向量Pnr??(z)=z?nrT?znr?nr?和br?:單位長(zhǎng)度正交向量gr?(t):用于限制嵌入事實(shí)向量和關(guān)系向量的懲罰項(xiàng)。前loss,后penalty??偏置向量br?:來(lái)代表關(guān)系相似度:測(cè)量事實(shí)嵌入與關(guān)系向量的距離
- ar∈RM(Rr),Σrho∈M(Rr)ar(ρ)=0a_r\in R^{M(R_r)},\Sigma_{rho\in M(R_r)}a_r(\rho)=0ar?∈RM(Rr?),Σrho∈M(Rr?)?ar?(ρ)=0
- 目標(biāo):減少損失和懲罰
- 懲罰gr(t)g_r(t)gr?(t):(相似度)
- zero-constraint:強(qiáng)約束,令事實(shí)向量=關(guān)系向量
- gr(t)=∣∣br?Pnr(efact)∣∣2,t∈NM(Rr)g_r(t)=||b_r-P_{n_r}(e_{fact})||_2,t\in N^{M(R_r)}gr?(t)=∣∣br??Pnr??(efact?)∣∣2?,t∈NM(Rr?)
- 優(yōu)點(diǎn):減少解空間,加快模型收斂
- 缺點(diǎn):降低多樣性和表達(dá)能力
- 如圖B:同組內(nèi)事實(shí)共享相同的實(shí)體表示,組內(nèi)事實(shí)表示相同=關(guān)系
- radius
- gr(t)=∣∣br?Pnr(efact)∣∣2??,t∈NM(Rr)g_r(t)=||b_r-P_{n_r}(e_{fact})||_2-\epsilon,t\in N^{M(R_r)}gr?(t)=∣∣br??Pnr??(efact?)∣∣2???,t∈NM(Rr?)
- 寬松的約束,在歐幾里得空間的距離<?\epsilon?(圓)
- 保證表達(dá)能力和多樣性
- 缺點(diǎn):每個(gè)維度的貢獻(xiàn)均等
- 同組的事實(shí)在以關(guān)系為中心的圓內(nèi)(超球體)(圖C)
- cosine
- gr(t)=cos(br,Pnr(efact)),t∈NM(Rr)g_r(t)=cos(b_r,P_{n_r}(e_{fact})),t\in N^{M(R_r)}gr?(t)=cos(br?,Pnr??(efact?)),t∈NM(Rr?)
- 圖D:同組在一條線上(過原點(diǎn))
- zero-constraint:強(qiáng)約束,令事實(shí)向量=關(guān)系向量
在圖A的原始向量空間中,我們有一個(gè)三元關(guān)系“ relation1”(用橙色正方形表示)和兩個(gè)實(shí)例(用綠色圓圈表示),它們的FACT-ID為“ f act1”和“ f act2”。兩個(gè)實(shí)例中的每個(gè)實(shí)例都通過不同的角色(即role1,role2和role3)與其他三個(gè)通用實(shí)體(由藍(lán)色三角形表示)鏈接。我們?cè)趫DA中呈現(xiàn)4個(gè)一般實(shí)體e1,e2,e3和e4。我們可以看到,f act1和f act2在“ role1”和“ role2”上共享相同的實(shí)體,這與“ role3”不同。
在圖B,C和D中,我們通過在實(shí)例和實(shí)體的名稱上添加單引號(hào)來(lái)表示實(shí)例和實(shí)體的嵌入矢量。事實(shí)節(jié)點(diǎn)“ f act1”的嵌入向量被標(biāo)記為“ f act1’”。我們指出嵌入的多重關(guān)系“ relation1”與原始向量空間中的關(guān)系相同,因?yàn)樗鼈兪窍嗤南蛄?#xff0c;并且沒有映射操作。
圖B顯示了具有零約束的組約束嵌入的結(jié)果。當(dāng)我們強(qiáng)制嵌入的事實(shí)向量“ f act1’”,“ f act2’”及其對(duì)應(yīng)的關(guān)系向量“ relation1”之間的歐幾里得距離為零時(shí),這三個(gè)向量幾乎落入了嵌入向量空間中的同一點(diǎn)。當(dāng)使用半徑約束時(shí),
如圖C所示,“ f act1’”和“ f act2’”落入超球體,“ relation1”充當(dāng)球體的中心,半徑?是介于0和0之間的十進(jìn)制數(shù)。 1。我們可以看到,將?設(shè)置為0時(shí),半徑約束退化為零約束。
在圖D中,我們使用余弦距離作為度量,因此嵌入矢量“ f act1’”,“ f act2’”和“ relation1”的角度幾乎相同,投影到超平面時(shí)落在一條直線上。
3.3 Proposed Model
- Group-constrained m-TransH (Gm-TransH)
- 目標(biāo):以使嵌入的事實(shí)向量接近超平面上其對(duì)應(yīng)的關(guān)系向量
3.4 Complexity Analysis
- 時(shí)間復(fù)雜度:TransH>Gm-TransH>M-TransH
- 變體:radius>zero>cosine
- 參數(shù)數(shù)量:Gm-TransH<M-TransH
4.實(shí)驗(yàn)
4.1 數(shù)據(jù)集
- 數(shù)據(jù)集
- FB15K [1]
- 為了驗(yàn)證我們的模型對(duì)特定退化類型的多重(N-ary)關(guān)系(N=2)的有效性,我們還對(duì)FB15K數(shù)據(jù)集執(zhí)行了實(shí)例分類任務(wù)[1]
- JF17K [17].
- 多重關(guān)系:
- T(F):GT(F):GT(F):G
- Tid(F):GidT_{id}(F):G_{id}Tid?(F):Gid?:缺少大量實(shí)例的事實(shí)節(jié)點(diǎn)
- FACTID:不適用于本文model,去除
- 擴(kuò)充為GfactG_{fact}Gfact?
- 用三元關(guān)系表示的二元關(guān)系的數(shù)據(jù)集(S2C(G)):G_{s2c}
- 一致的數(shù)據(jù)集
- 一開始就去除了冗余
- 多重關(guān)系:
- FB15K [1]
FB15K。為了驗(yàn)證我們的模型對(duì)特定退化類型的多重(N-ary)關(guān)系,即N = 2的二元關(guān)系的有效性,我們還對(duì)FB15K數(shù)據(jù)集執(zhí)行了實(shí)例分類任務(wù)[1]。由于FB15K數(shù)據(jù)集僅由三元組的二進(jìn)制關(guān)系組成,并且不包含事實(shí)節(jié)點(diǎn)的信息,因此我們擴(kuò)展FB15K數(shù)據(jù)集并將唯一的事實(shí)節(jié)點(diǎn)附加到每個(gè)三元組。因此,我們可以使用擴(kuò)展的FB15K數(shù)據(jù)集訓(xùn)練提出的Gm-TransH模型并在僅保持二進(jìn)制關(guān)系的情況下測(cè)試其性能。為了與二進(jìn)制關(guān)系的基準(zhǔn)模型進(jìn)行比較,我們使用原始的FB15K數(shù)據(jù)集來(lái)訓(xùn)練NTN,TransE,TransH和TransR模型。為方便起見,我們使用“ Raw”表示原始FB15K數(shù)據(jù)集,并使用“ Ext”表示擴(kuò)展的FB15K數(shù)據(jù)集。表3列出了原始FB15K和擴(kuò)展FB15K數(shù)據(jù)集的統(tǒng)計(jì)信息。
4.2 Link Prediction
- 鏈接預(yù)測(cè)
- (h,r,t):三缺1,預(yù)測(cè)缺的部分
- the extended JF17K datasets i
- 給候選實(shí)體排序
- Evaluation Protocol
- 將測(cè)試集中的實(shí)例
- 為了公平起見,我們僅替換實(shí)例中出現(xiàn)的真實(shí)實(shí)體,并排除事實(shí)節(jié)點(diǎn)。
- 參數(shù)
按照標(biāo)準(zhǔn),隨機(jī)梯度下降用于訓(xùn)練。我們將L2作為相異性,遍歷所有訓(xùn)練樣本1000輪。在我們的實(shí)驗(yàn)中,研究了實(shí)體和關(guān)系維d的幾種選擇:25、50、100、150、200、250。我們?cè)?.0015、0.005、0.01、0.1中選擇SGD的學(xué)習(xí)率λ,在0.001、0.01、0.05 0.1中選擇Gm-TransH的平衡因子β,在0.5、1.0、2.0中選擇余量γ,在Gm-TransH中選擇半徑? :半徑在0.01、0.05、0.1、0.5、1、5之間,批量B在120、480、960、1920之間。三種不同的Gm-TransH模型的最佳配置為Gm-TransH:零:λ= 0.0015,β= 0.01,γ= 0.5,d = 150,B = 960。Gm-TransH:半徑:λ= 0.0015,β= 0.05,γ= 1.0,? = 0.05,d = 250,B = 480。Gm-TransH:余弦:λ= 0.0015,β= 0.01,γ= 1.0,d = 200,B = 1920。
- 結(jié)果
- 總體而言,模型效果好
- zero:利于判別
- cosine:均值度量上好,具有整體優(yōu)化能力
結(jié)果。表5中顯示了在清潔和擴(kuò)展的JF17K數(shù)據(jù)集上進(jìn)行鏈接預(yù)測(cè)的實(shí)驗(yàn)結(jié)果,該結(jié)果顯示了尺寸分別為25、50、100、150、200、250的不同嵌入模型的Hit @ 10結(jié)果和平均排名結(jié)果。這三個(gè)Gm-TransH模型在Hit @ 10和平均排名指標(biāo)上均大大優(yōu)于Trans(E,H,R)模型。與m-TransH模型相比,我們的模型提高了Hit @ 10的概率,并通過m-TransH:inst獲得了近似的平均排名。結(jié)果表明,我們的方法對(duì)于通過多重關(guān)聯(lián)嵌入提高鏈接預(yù)測(cè)的準(zhǔn)確性是有效的。此外,相比之下,Gm-TransH:zero優(yōu)于Hit @ 10度量上的Radius約束和余弦約束,表明Zero Constraint更好用于判別。Gm-TransH:cosine在均值秩度量上表現(xiàn)最佳,并且具有更高的整體優(yōu)化能力。
4.3 Instance Classi?cation
- 實(shí)例分類任務(wù):判斷給定實(shí)例(h,r,t)是否正確
- 構(gòu)建否定實(shí)例
- 我們選擇與鏈接預(yù)測(cè)中使用的相同的超參數(shù),并獲得20次重復(fù)試驗(yàn)的平均準(zhǔn)確性。
- 有效
評(píng)估協(xié)議。對(duì)于實(shí)例分類任務(wù),我們?cè)贜TN和TransH中遵循相同的協(xié)議。由于分類的評(píng)估需要否定標(biāo)記,因此JF17K和FB15K數(shù)據(jù)集都只包含肯定實(shí)例,因此我們按照文獻(xiàn)[13]中對(duì)FB13使用的相同步驟構(gòu)造否定實(shí)例。對(duì)于每個(gè)黃金實(shí)例,都會(huì)創(chuàng)建一個(gè)否定實(shí)例。
通過最大化訓(xùn)練集的分類精度,我們?yōu)槊總€(gè)關(guān)系r設(shè)置閾值。對(duì)于測(cè)試集中的給定實(shí)例,如果相異性得分低于δr\delta_rδr?,它將被分類為正,否則為負(fù)。
結(jié)果。表6詳細(xì)列出了實(shí)例分類的評(píng)估結(jié)果。我們可以觀察到,在FB15K和JF17K數(shù)據(jù)集上,Gm-TransH模型都可以達(dá)到90%的精度,明顯優(yōu)于包括NTN,Trans(E,H,R)和m-TransH在內(nèi)的基線模型。這表明我們的模型可以有效,富有表現(xiàn)力地學(xué)習(xí)關(guān)系級(jí)信息。此外,從FB15K(Raw)和FB15K(Ext)數(shù)據(jù)集的結(jié)果中,我們看到,即使對(duì)于二進(jìn)制關(guān)系,組約束嵌入模型也是可行且可靠的。
5.總結(jié)
我們提出了具有三種不同類型的多重關(guān)系約束策略的群約束嵌入框架,并提出了一種新的表示學(xué)習(xí)模型Gm-TransH。我們?cè)跀U(kuò)展的FB15K和JF17K數(shù)據(jù)集上評(píng)估所提出模型的有效性和性能。實(shí)驗(yàn)結(jié)果表明,在鏈接預(yù)測(cè)和實(shí)例分類任務(wù)上,Gm-TransH模型優(yōu)于所有基線模型。將來(lái),我們將針對(duì)知識(shí)庫(kù)中日趨復(fù)雜的數(shù)據(jù)探索更多的表示和嵌入框架,例如事件和過程,并結(jié)合了二進(jìn)制關(guān)系學(xué)習(xí)中的最新進(jìn)展以進(jìn)行多重關(guān)系嵌入。
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)總結(jié)
以上是生活随笔為你收集整理的18-Gm-TransH:Group-Constrained Embedding of Multi-fold Relations in Knowledge Bases,嵌入,transH,n-ary的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ACM 杰出会员姬水旺:量子化学和物理的
- 下一篇: 论文阅读课11-TEMPROB:Impr