研究問(wèn)題

提出了一種可以充分結(jié)合異構(gòu)的節(jié)點(diǎn)信息和邊信息，同時(shí)學(xué)習(xí)這兩者的嵌入的圖卷積網(wǎng)絡(luò)KE-GCN，并將之前的幾種知識(shí)圖譜CNN納入一個(gè)統(tǒng)一的框架下

背景動(dòng)機(jī)

• 傳統(tǒng)的圖卷積模型一般不關(guān)注學(xué)習(xí)邊的嵌入，且無(wú)法處理異構(gòu)的邊信息
• 知識(shí)圖譜領(lǐng)域的大多數(shù)嵌入學(xué)習(xí)方法沒(méi)有利用到圖的結(jié)構(gòu)信息
• 知識(shí)圖譜領(lǐng)域的圖卷積模型雖然同時(shí)學(xué)習(xí)了節(jié)點(diǎn)和邊的嵌入，但主要精力還是在根據(jù)關(guān)系嵌入優(yōu)化實(shí)體嵌入，而沒(méi)有對(duì)稱的過(guò)程

模型方法

• 重新解釋鄰居聚合公式

傳統(tǒng)GCN對(duì)非異構(gòu)邊的鄰居聚合公式可以表示為

現(xiàn)在引入得分函數(shù)f估計(jì)每條邊的置信度，假設(shè)對(duì)于邊，其置信度對(duì)應(yīng)兩個(gè)節(jié)點(diǎn)嵌入的內(nèi)積，即，等式**(1)**可以重寫為以下對(duì)f進(jìn)行求導(dǎo)的式子

此時(shí)，等式**(2)**中的就可以看作是一步梯度上升，以最大化，因此整體的聚合過(guò)程的目標(biāo)可以看做是使知識(shí)圖譜中的邊的置信度最大化

• 模型框架

現(xiàn)在考慮知識(shí)圖譜中的異構(gòu)邊，也就是邊會(huì)有多種類型，得分函數(shù)表示為，將得分函數(shù)進(jìn)一步細(xì)化為入度和出度兩部分，新的鄰居聚合公式寫作

上面是實(shí)體嵌入的更新公式。下面是關(guān)系嵌入的更新公式，其中

其計(jì)算圖示如下，先計(jì)算f，再對(duì)其導(dǎo)數(shù)進(jìn)行聚合

為了減少參數(shù)量，設(shè)置，并對(duì)實(shí)體和關(guān)系的嵌入進(jìn)行規(guī)范化，即計(jì)算及

代入具體模型

幾種不同模型計(jì)算過(guò)程的區(qū)別如下

• CompGCN
  • 原始實(shí)體更新公式

• 原始關(guān)系更新公式

• 代入論文公式

• R-GCN

  • 實(shí)體更新公式

  • 代入論文公式

• W-GCN

  • 實(shí)體更新公式

  • 代入論文公式
    

實(shí)驗(yàn)部分

• 候選得分函數(shù)
  • TransE：
  • DistMult：
  • TransH：
  • TransD：
  • RotatE：
  • QuatE：
• 知識(shí)圖譜對(duì)齊

這個(gè)任務(wù)的目的是找到兩個(gè)知識(shí)圖譜中對(duì)應(yīng)同一個(gè)真實(shí)世界實(shí)體的實(shí)體，論文通過(guò)計(jì)算兩個(gè)共享參數(shù)的GCN對(duì)兩個(gè)知識(shí)圖譜分別計(jì)算得到的實(shí)體嵌入之間的距離來(lái)對(duì)齊實(shí)體。模型訓(xùn)練的損失函數(shù)定義如下，就是讓對(duì)齊實(shí)體的距離盡可能近，不對(duì)齊實(shí)體的距離盡可能遠(yuǎn)。

不同模型以及不同損失函數(shù)的效果如下

• 實(shí)體分類任務(wù)

評(píng)價(jià)

這篇論文可以看做是對(duì)CompGCN做的一個(gè)改進(jìn)，在計(jì)算關(guān)系嵌入時(shí)也考慮關(guān)聯(lián)的實(shí)體信息。雖然只有這一個(gè)創(chuàng)新點(diǎn)，但是寫得很高明，直接對(duì)鄰居聚合的過(guò)程做了一個(gè)重新的解釋，再?gòu)男乱暯墙榻B自己的方法。論文主要有三個(gè)地方有點(diǎn)奇怪，一個(gè)是沒(méi)有報(bào)告實(shí)體分類模型的結(jié)果，它對(duì)比的模型明明都是實(shí)體分類模型，最后卻報(bào)告了實(shí)體對(duì)齊的實(shí)驗(yàn)結(jié)果，讓人懷疑它在實(shí)體分類上的實(shí)驗(yàn)效果；另外一點(diǎn)就是其他卷積模型都只使用了單層或雙層卷積，它用了四層，不知道卷積層數(shù)是不是也提升很大；以及論文中沒(méi)有消融實(shí)驗(yàn)。

總結(jié)

以上是生活随笔為你收集整理的Knowledge Embedding Based Graph Convolutional Network的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。