本期內(nèi)容選編自微信公眾號(hào)「開(kāi)放知識(shí)圖譜」。

TheWebConf 2018

■ 鏈接 | https://www.paperweekly.site/papers/1956

■ 解讀 | 花云程，東南大學(xué)博士，研究方向?yàn)樽匀徽Z(yǔ)言處理、知識(shí)圖譜問(wèn)答

動(dòng)機(jī)

對(duì)于 KBQA 任務(wù)，有兩個(gè)最為重要的部分：其一是問(wèn)題實(shí)體識(shí)別，即將問(wèn)題中的主題實(shí)體識(shí)別出來(lái)，并與 KB 做實(shí)體鏈接；其二是謂詞映射。

對(duì)于主題實(shí)體識(shí)別任務(wù)，之前的做法多為依靠字符串相似度，再輔以人工抽取的特征和規(guī)則來(lái)完成的。但是這樣的做法并沒(méi)有將問(wèn)題的語(yǔ)義與實(shí)體類(lèi)型、實(shí)體關(guān)系這樣的實(shí)體信息考慮進(jìn)來(lái)。

實(shí)體類(lèi)型和實(shí)體關(guān)系，很大程度上，是與問(wèn)題的上下文語(yǔ)義相關(guān)的。當(dāng)只考慮實(shí)體關(guān)系時(shí)，會(huì)遇到 zero-shot 的問(wèn)題，即測(cè)試集中某實(shí)體的關(guān)系，是在訓(xùn)練集中沒(méi)有遇到過(guò)的，這樣的實(shí)體關(guān)系就沒(méi)法準(zhǔn)確地用向量表達(dá)。?

因此，為了解決上述問(wèn)題，本文首先利用 entity type（實(shí)體類(lèi)型）的層次結(jié)構(gòu)（主要為實(shí)體類(lèi)型之間的父子關(guān)系），來(lái)解決 zero-shot 的問(wèn)題。

如同利用 wordnet 計(jì)算 word 相似度的做法一般，文章將父類(lèi)型的“語(yǔ)義”視為所有子類(lèi)型的“語(yǔ)義”之和。一個(gè)實(shí)體總是能夠與粗顆粒的父類(lèi)型相關(guān)，例如一個(gè)實(shí)體至少能夠與最粗顆粒的 person、location 等類(lèi)型相連。這樣，利用實(shí)體所述的類(lèi)型，在考慮實(shí)體上下文時(shí)，就可以一定程度上彌補(bǔ)實(shí)體關(guān)系的 zero-shot 問(wèn)題。

此外，本文建立了一個(gè)神經(jīng)網(wǎng)絡(luò)模型 Hierarchical Type constrained Topic Entity Detection (HTTED)，利用問(wèn)題上下文、實(shí)體類(lèi)型、實(shí)體關(guān)系的語(yǔ)義，來(lái)計(jì)算候選實(shí)體與問(wèn)題上下文的相似度，選取最相似的實(shí)體，來(lái)解決 NER 問(wèn)題。

經(jīng)過(guò)實(shí)驗(yàn)證明，HTTED 系統(tǒng)對(duì)比傳統(tǒng)的系統(tǒng)來(lái)說(shuō)，達(dá)到了目前最優(yōu)的實(shí)體識(shí)別效果。

貢獻(xiàn)

文章的貢獻(xiàn)有：?

• 利用父子類(lèi)型的層次結(jié)構(gòu)來(lái)解決稀疏類(lèi)型訓(xùn)練不充分的問(wèn)題；

• 設(shè)計(jì)了基于 LSTM 的 HTTED 模型，進(jìn)行主題實(shí)體識(shí)別任務(wù)；

• 提出的模型通過(guò)實(shí)驗(yàn)驗(yàn)證取得了 state-of-art 的效果。

方法

本文首先對(duì)于父子類(lèi)型的層次結(jié)構(gòu)進(jìn)行解釋和論述，也是 HTTED 的核心思想。

本文認(rèn)為，父類(lèi)型的語(yǔ)義視為接近于所有子類(lèi)型的語(yǔ)義之和。例如父類(lèi)型 organization 的語(yǔ)義，就相當(dāng)于子類(lèi)型 company、enterprise 等語(yǔ)義之和。如果類(lèi)型是由定維向量表示，那么父類(lèi)型的向量就是子類(lèi)型的向量之和。

此外，由于在數(shù)據(jù)集中，屬于子類(lèi)型的實(shí)體比較稀疏，而父類(lèi)型的實(shí)體稠密，如果不采用文中的方法，那么稀疏的子類(lèi)型將會(huì)得不到充分的訓(xùn)練。若將父類(lèi)型以子類(lèi)型表示，那么父子類(lèi)型都可以得到充分地訓(xùn)練。

▲?圖1：HTTED模型圖

其次是對(duì)文中模型的解釋。如上圖 1 所示，HTTED 使用了三個(gè)編碼器來(lái)對(duì)不同成分編碼。?

其一，是問(wèn)答上下文編碼器，即將問(wèn)題經(jīng)過(guò)分詞后得到的 tokens，以預(yù)訓(xùn)練得到的詞向量來(lái)表示，并依次輸入雙向 LSTM 進(jìn)行第一層的編碼；此后，將雙向 LSTM 得到的輸出拼接，再輸入第二層的 LSTM 進(jìn)行編碼，即得到表示問(wèn)題上下文的 d 維向量 q。?

其二，是實(shí)體類(lèi)型編碼器，即對(duì)于某個(gè)候選實(shí)體 e，得到其連接的類(lèi)型，并將父類(lèi)型以所有子類(lèi)型向量之和表示，再將這些類(lèi)型對(duì)應(yīng)的向量輸入一個(gè) LSTM 中進(jìn)行編碼，得到實(shí)體類(lèi)型的 d 維向量 et。?

其三，是實(shí)體關(guān)系編碼器，即對(duì)于某個(gè)候選實(shí)體 e，得到其所有實(shí)體關(guān)系，并表示成向量。此外，對(duì)于實(shí)體關(guān)系，將其關(guān)系名切割為 tokens，并以詞向量表示。然后將實(shí)體關(guān)系和實(shí)體關(guān)系名這兩種向量，輸入一個(gè) LSTM 中進(jìn)行編碼，得到實(shí)體關(guān)系的d維向量 er。?

得到三個(gè)向量后，文章認(rèn)為實(shí)體的語(yǔ)義可以由實(shí)體類(lèi)型、實(shí)體關(guān)系近似表達(dá)，所以有：

而在訓(xùn)練時(shí)，設(shè)置一個(gè) margin，則 ranking loss 為：

其中 γ 為超參數(shù)。

實(shí)驗(yàn)結(jié)果

文章使用單關(guān)系問(wèn)答數(shù)據(jù)集 SimpleQuestions 和知識(shí)圖譜 FB2M，并有 112 個(gè)具有層次父子關(guān)系的實(shí)體類(lèi)型。

HTTED 的詞向量為經(jīng)過(guò)預(yù)訓(xùn)練的，關(guān)系向量是初始隨機(jī)的，而類(lèi)型向量中，葉子類(lèi)型初始隨機(jī)，父類(lèi)型的向量由子類(lèi)型的向量累加得到。如下圖 2 所示，為 HTTED 與其他系統(tǒng)的效果對(duì)比，其中 -Hierarchy表示 HTTED 去除了實(shí)體類(lèi)型的層次結(jié)構(gòu)表示。

▲?圖2：主題實(shí)體識(shí)別效果對(duì)比圖

由圖 2 可見(jiàn)，HTTED 為 state-of-art 的效果。并且，將實(shí)體類(lèi)型的層次結(jié)構(gòu)去除，HTTED 的準(zhǔn)確性下降很多。可見(jiàn)層次類(lèi)型約束對(duì)于該模型的重要性。?

由下圖 3 可見(jiàn)，由于使用了層次結(jié)構(gòu)的類(lèi)型，同名的實(shí)體被識(shí)別出來(lái)，但是與問(wèn)題上下文更相關(guān)的實(shí)體都被挑選出來(lái)，所以能夠正確識(shí)別到主題實(shí)體。

▲?圖3：主題實(shí)體識(shí)別示例圖

總結(jié)?

這篇文章，主要有兩個(gè)主要工作：其一，是引入了層次結(jié)構(gòu)的實(shí)體類(lèi)型約束，來(lái)表達(dá)實(shí)體的語(yǔ)義，使得與問(wèn)題上下文相關(guān)的實(shí)體，更容易被找到；其二，是建立了基于 LSTM 的 HTTED 模型，提高了主題實(shí)體識(shí)別的效果。

AAAI 2018

■ 鏈接 |?https://www.paperweekly.site/papers/1957

■ 解讀 |?張文，浙江大學(xué)博士生，研究方向知識(shí)圖譜的分布式表示與推理

動(dòng)機(jī)

知識(shí)圖譜的分布式表示旨在將知識(shí)圖譜中的實(shí)體和關(guān)系表示到連續(xù)的向量空間中，本文考慮的問(wèn)題是如何將知識(shí)庫(kù)的分布式表示和邏輯規(guī)則結(jié)合起來(lái)，并提出了一個(gè)新的表示學(xué)習(xí)方法 RUGE (Rule-Guided Embedding)。

貢獻(xiàn)?

1. 本文提出了一種新的知識(shí)圖譜表示學(xué)習(xí)方法 RUGE，RUGE 在向量表示 (embeddings) 的學(xué)習(xí)過(guò)程中迭代地而非一次性地加入了邏輯規(guī)則的約束；?

2. 本文使用的是已有算法自動(dòng)挖掘的規(guī)則，RUGE 的有效性證明了算法自動(dòng)挖掘的規(guī)則的有效性；

3. 本文提出的方法 RUGE 具有很好的通用型，對(duì)于不同的邏輯規(guī)則和不同置信度的規(guī)則的魯棒性較好。

方法 RUGE?

RUGE 方法的輸入有三個(gè)部分：?

• 已標(biāo)記的三原組：知識(shí)庫(kù)中已有三元組；

• 未標(biāo)記的三元組：知識(shí)庫(kù)中不存在的三元組。在這篇論文中未標(biāo)記的三元組只考慮了能夠由邏輯規(guī)則推導(dǎo)出的三元組；

• 概率邏輯規(guī)則：本文主要考慮了一階謂詞邏輯規(guī)則，每一個(gè)邏輯規(guī)則都標(biāo)有一個(gè)成立的概率值。實(shí)驗(yàn)中使用的概率規(guī)則來(lái)自于規(guī)則自動(dòng)挖掘系統(tǒng) AMIE+。

模型核心想法如下：

三元組表示：

本文采用了 ComplEx 作為基礎(chǔ)的知識(shí)庫(kù)分布式表示學(xué)習(xí)的模型，在 ComplEx中，每一個(gè)實(shí)體和關(guān)系都被表示為一個(gè)復(fù)數(shù)向量，一個(gè)三元組 (e_i,r_k,e_j) 的得分函數(shù)設(shè)計(jì)如下：

其中 Re<x> 表示取 x 實(shí)部的值，bar{e}_j 為 e_j 的共軛向量。正確的三元組得分函數(shù)值會(huì)較高而不正確的三元組得分函數(shù)的值會(huì)較低。?

邏輯規(guī)則的表示：

本文借鑒了模糊邏輯的核心思想，將規(guī)則的真值看作其組成部件真值的組合。例如一個(gè)已經(jīng)實(shí)例化的規(guī)則 (e_u, e_s,e_v) =(e_u, e_t,e_v) 的真值將由 (e_u, e_s,e_v) 和 (e_u, e_t,e_v) 的真值決定。根據(jù)(Guo et al. 2016)的工作，不同邏輯算子的真值計(jì)算如下：

由上三式可推出規(guī)則真值計(jì)算公式：

此規(guī)則計(jì)算公式是后面規(guī)則應(yīng)用的一個(gè)重要依據(jù)。

未標(biāo)記三元組標(biāo)簽預(yù)測(cè)：

這一步是整個(gè)方法的核心，目的在于對(duì)未標(biāo)記三元組的標(biāo)簽進(jìn)行預(yù)測(cè)，并將這些三元組添加到知識(shí)圖譜中，再次進(jìn)行知識(shí)圖譜的分布式表示學(xué)習(xí)訓(xùn)練，修正向量結(jié)果。

標(biāo)簽預(yù)測(cè)的過(guò)程主要有兩個(gè)目標(biāo)：

目標(biāo)一：預(yù)測(cè)的標(biāo)簽值要盡可能接近其真實(shí)的真值。由于預(yù)測(cè)的三元組都是未標(biāo)記的，本文將由當(dāng)前表示學(xué)習(xí)的向量結(jié)果按照得分函數(shù)計(jì)算出的結(jié)果當(dāng)作其真實(shí)的真值。

目標(biāo)二：預(yù)測(cè)的真值要符合對(duì)應(yīng)邏輯規(guī)則的約束，即通過(guò)規(guī)則公式計(jì)算出的真值要大于一定的值。其中應(yīng)用的規(guī)則計(jì)算公式如下：

其中 φ(e_u, e_s,e_v) 是當(dāng)前向量表示計(jì)算的結(jié)果，s(e_u, e_t,e_v) 是要預(yù)測(cè)的真值。真值預(yù)測(cè)的訓(xùn)練目標(biāo)如下：

通過(guò)對(duì)上式對(duì)求 s(x_u) 導(dǎo)等于 0 可得到 s(x_u) 的計(jì)算公式：?

向量表示結(jié)果的修正：

將預(yù)測(cè)了標(biāo)簽的三元組添加到知識(shí)圖譜中，和已由的三元組一起進(jìn)行訓(xùn)練，來(lái)修正向量學(xué)習(xí)，優(yōu)化的損失函數(shù)目標(biāo)如下：

上式前半部分是對(duì)知識(shí)圖譜中真實(shí)存在的三元組的約束，后半部分為對(duì)預(yù)測(cè)了標(biāo)簽的三元組的約束。?

以上步驟在模型訓(xùn)練過(guò)程中迭代進(jìn)行。

實(shí)驗(yàn)

鏈接預(yù)測(cè)：

從實(shí)驗(yàn)結(jié)果可以看出，規(guī)則的應(yīng)用提升了表示學(xué)習(xí)的結(jié)果。

EMNLP 2017

■ 鏈接 |?https://www.paperweekly.site/papers/713

■ 解讀 |?劉兵，東南大學(xué)在讀博士，研究方向?yàn)樽匀徽Z(yǔ)言處理

動(dòng)機(jī)

近年來(lái)基于深度學(xué)習(xí)方法的遠(yuǎn)程監(jiān)督模型取得了不錯(cuò)的效果，但是現(xiàn)有研究大多使用較淺的 CNN 模型，通常一個(gè)卷基層加一個(gè)全連接層，更深的 CNN 模型是否能夠更好地解決以有噪聲的標(biāo)注數(shù)據(jù)為輸入的遠(yuǎn)程監(jiān)督模型沒(méi)有被探索。

為了探索更深的 CNN 模型對(duì)遠(yuǎn)程監(jiān)督模型的影響，本文設(shè)計(jì)了基于殘差網(wǎng)絡(luò)的深層 CNN 模型。實(shí)驗(yàn)結(jié)果表明，較深的 CNN 模型比傳統(tǒng)方法中只使用一層卷積的簡(jiǎn)單 CNN 模型具有較大的提升。

方法

本方法的模型結(jié)構(gòu)如下圖所示：?

輸入層：每個(gè)單詞使用詞向量和位置向量聯(lián)合表示；

卷基層：為了得到句子更高級(jí)的表示，采用多個(gè)卷基層堆疊在一起。為了解決訓(xùn)練時(shí)梯度消失的問(wèn)題，在低層和高層的卷基層之間建立捷徑連接；

池化層和 softmax 輸出層。

實(shí)驗(yàn)

實(shí)驗(yàn)在遠(yuǎn)程監(jiān)督常用的數(shù)據(jù)集 NYT-Freebase 上進(jìn)行。實(shí)驗(yàn)結(jié)果表明：?

本文提出的方法采用 9 個(gè)卷基層時(shí)達(dá)到最好的效果，這時(shí)不適用注意力機(jī)制和 piecewise pooling 性能也接近了使用注意力和 piecewise pooling 的方法。結(jié)果如下表所示。

不使用殘差網(wǎng)絡(luò)的深層 CNN 模型，當(dāng)層數(shù)較深時(shí)效果變差。使用殘差網(wǎng)絡(luò)可以解決其無(wú)法傳播的問(wèn)題，效果改善很多；結(jié)果如下圖所示。

EMNLP 2017

■ 鏈接 |?https://www.paperweekly.site/papers/1960

■ 源碼 |?http://github.com/LiyuanLucasLiu/ReHession

■ 解讀 |?劉兵，東南大學(xué)博士，研究方向?yàn)樽匀徽Z(yǔ)言處理

動(dòng)機(jī)

現(xiàn)有的關(guān)系抽取方法嚴(yán)重依賴(lài)于人工標(biāo)注的數(shù)據(jù)，為了克服這個(gè)問(wèn)題，本文提出基于異種信息源的標(biāo)注開(kāi)展關(guān)系抽取模型學(xué)習(xí)的方法，例如知識(shí)庫(kù)、領(lǐng)域知識(shí)。

這種標(biāo)注稱(chēng)作異源監(jiān)督（heterogeneous supervision），其存在的問(wèn)題是標(biāo)注沖突問(wèn)題，即對(duì)于同一個(gè)關(guān)系描述，不同來(lái)源的信息標(biāo)注的結(jié)果不同。這種方法帶來(lái)的挑戰(zhàn)是如何從有噪聲的標(biāo)注中推理出正確的標(biāo)簽，以及利用標(biāo)注推理結(jié)果訓(xùn)練模型。?

例如下面的句子，知識(shí)庫(kù)中如果存在 <Gofraid,born_in, Dal Riata> 這個(gè)三元組，則將下面的句子標(biāo)注為 born_in 關(guān)系；而如果使用人工模板“* killed in*”進(jìn)行匹配，則會(huì)將該句子標(biāo)注為 kill_in 關(guān)系。

Gofraid(e1) died in989, said to be killed in Dal Riata(e2).

為了解決這個(gè)問(wèn)題，本文提出使用表示學(xué)習(xí)的方法實(shí)現(xiàn)為關(guān)系抽取提供異源監(jiān)督。

創(chuàng)新點(diǎn)

本文首次提出使用表示學(xué)習(xí)的方法為關(guān)系抽取提供異源監(jiān)督，這種使用表示學(xué)習(xí)得到的高質(zhì)量的上下文表示是真實(shí)標(biāo)簽發(fā)現(xiàn)和關(guān)系抽取的基礎(chǔ)。

方法

文章方法框架如下：

▲?關(guān)系描述表示方法

1. 文本特征的向量表示。從文本上下文中抽取出文本特征（基于pattern得到），簡(jiǎn)單的one-hot方法會(huì)得到維度非常大的向量表示，且存在稀疏的問(wèn)題。為了得到更好的泛化能力，本文采用表示學(xué)習(xí)的方法，將這些特征表示成低維的連續(xù)實(shí)值向量；

2. 關(guān)系描述的向量表示。在得到文本特征的表示之后，關(guān)系描述文本依據(jù)這些向量的表示生成關(guān)系描述的向量表示。這里采用對(duì)文本特征向量進(jìn)行矩陣變換、非線(xiàn)性變換的方式實(shí)現(xiàn)；

3. 真實(shí)標(biāo)簽發(fā)現(xiàn)。由于關(guān)系描述文本存在多個(gè)可能沖突的標(biāo)注，因此發(fā)現(xiàn)真實(shí)標(biāo)簽是一大挑戰(zhàn)。此處將每個(gè)標(biāo)注來(lái)源視為一個(gè)標(biāo)注函數(shù)，這些標(biāo)注函數(shù)均有其“擅長(zhǎng)”的部分，即一個(gè)標(biāo)注正確率高的語(yǔ)料子集。本方法將得到每種標(biāo)注函數(shù)擅長(zhǎng)的語(yǔ)料子集的表示，并以此計(jì)算標(biāo)注函數(shù)相對(duì)于每個(gè)關(guān)系描述的可信度，最后綜合各標(biāo)注函數(shù)的標(biāo)注結(jié)果和可信度，得到最終的標(biāo)注結(jié)果；

4. 關(guān)系抽取模型訓(xùn)練。在推斷了關(guān)系描述的真實(shí)標(biāo)簽后，將使用標(biāo)注的語(yǔ)料訓(xùn)練關(guān)系抽取器。

值得指出的是，在本方法中，每個(gè)環(huán)節(jié)不是各自獨(dú)立的，真實(shí)標(biāo)簽發(fā)現(xiàn)與關(guān)系抽取模型訓(xùn)練會(huì)相互影響，得到關(guān)系上下文整體最優(yōu)的表示方法。

實(shí)驗(yàn)結(jié)果

本文使用 NYT 和 Wiki-KBP 兩個(gè)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，標(biāo)注來(lái)源一方面是知識(shí)庫(kù)，另一方面是人工構(gòu)造的模板。每組數(shù)據(jù)集進(jìn)行了包含 None 類(lèi)型的關(guān)系抽取，和不包含 None 類(lèi)型的關(guān)系分類(lèi)。

結(jié)果如下表所示，可見(jiàn)本文的方法相比于其他方法，在兩個(gè)數(shù)據(jù)集的四組實(shí)驗(yàn)中均有較明顯的性能提升。

ACL 2017

■ 鏈接 |?https://www.paperweekly.site/papers/1961

■ 源碼 |?https://github.com/stanfordnlp/cocoa

■ 解讀 |?王旦龍，浙江大學(xué)碩士，研究方向?yàn)樽匀徽Z(yǔ)言處理

本文研究了對(duì)稱(chēng)合作對(duì)話(huà)（symmetric collaborative dialogue）任務(wù)，任務(wù)中，兩個(gè)代理有著各自的先驗(yàn)知識(shí)，并通過(guò)有策略的交流來(lái)達(dá)到最終的目標(biāo)。本文還產(chǎn)生了一個(gè) 11k 大小的對(duì)話(huà)數(shù)據(jù)集。

為了對(duì)結(jié)構(gòu)化的知識(shí)和非結(jié)構(gòu)化的對(duì)話(huà)文本進(jìn)行建模，本文提出了一個(gè)神經(jīng)網(wǎng)絡(luò)模型，模型在對(duì)話(huà)過(guò)程中對(duì)知識(shí)庫(kù)的向量表示進(jìn)行動(dòng)態(tài)地修改。

任務(wù)

在對(duì)稱(chēng)合作對(duì)話(huà)任務(wù)中，存在兩個(gè) agent，每個(gè)代理有其私有的知識(shí)庫(kù)，知識(shí)庫(kù)由一系列的項(xiàng)（屬性和值）組成。兩個(gè)代理中共享一個(gè)相同的項(xiàng)，兩個(gè)代理的目標(biāo)是通過(guò)對(duì)話(huà)找到這個(gè)相同的項(xiàng)。?

數(shù)據(jù)集

本文建立了一個(gè)對(duì)稱(chēng)合作對(duì)話(huà)任務(wù)數(shù)據(jù)集，數(shù)據(jù)集中知識(shí)庫(kù)對(duì)應(yīng)的 schema? 中包含 3000 個(gè)實(shí)體，7 種屬性。數(shù)據(jù)集的統(tǒng)計(jì)信息如下所示：

模型

針對(duì)對(duì)稱(chēng)合作對(duì)話(huà)任務(wù)，本文提出了 DynoNet (Dynamic Knowledge GraphNetwork)，模型結(jié)構(gòu)如下所示：

Knowledge Graph?

圖譜中包含三種節(jié)點(diǎn)：item 節(jié)點(diǎn)，attribute 節(jié)點(diǎn)，entity 節(jié)點(diǎn)。圖譜根據(jù)對(duì)話(huà)中的信息進(jìn)行相應(yīng)的更新。

Graph Embedding?

t 時(shí)刻知識(shí)圖譜中每個(gè)節(jié)點(diǎn)的向量表示為 V_t(v)，向量表示中包含了以下來(lái)源的信息：代理私有知識(shí)庫(kù)的信息，共享的對(duì)話(huà)中的信息，來(lái)自知識(shí)庫(kù)中相鄰節(jié)點(diǎn)的信息。

Node Features?

這個(gè)特征表示了知識(shí)庫(kù)中的一些簡(jiǎn)單信息，如節(jié)點(diǎn)的度（degree），節(jié)點(diǎn)的類(lèi)型。這個(gè)特征是一個(gè) one-hot 編碼。

Mention Vectors?

Mentions vector M_t(v) 表示在 t 時(shí)刻的對(duì)話(huà)中與節(jié)點(diǎn) v 相關(guān)的上下文信息。對(duì)話(huà)的表示 u_t 由個(gè) LSTM 絡(luò)計(jì)算得到（后文會(huì)提到），為了區(qū)分 agent 自身產(chǎn)生的對(duì)話(huà)語(yǔ)句和另一個(gè)代理產(chǎn)生的對(duì)話(huà)語(yǔ)句，對(duì)話(huà)語(yǔ)句表示為：

Mentions Vector 通過(guò)以下公式進(jìn)行更新：

Recursive Node Embeddings?

一個(gè)節(jié)點(diǎn)對(duì)應(yīng)的向量表示也會(huì)受到相鄰其他節(jié)點(diǎn)的影響：

其中 k 表示深度為 k 的節(jié)點(diǎn)，R 表示邊對(duì)應(yīng)的關(guān)系的向量表示。

最后節(jié)點(diǎn)的向量表示為一系列深度的值的連接結(jié)果。

本文中使用了：

Utterance Embedding?

對(duì)話(huà)的向量表示 u_t 由一個(gè) LSTM 網(wǎng)絡(luò)計(jì)算得到。

其中 A_t 為實(shí)體抽象函數(shù)，若輸入為實(shí)體，則通過(guò)以下公式計(jì)算：

若不為實(shí)體，則為文本對(duì)應(yīng)的向量表示進(jìn)行 zero padding 的結(jié)果（保證長(zhǎng)度一致）。

使用一個(gè) LSTM 進(jìn)行對(duì)話(huà)語(yǔ)句的生成：

輸出包含字典中的詞語(yǔ)以及知識(shí)庫(kù)中的實(shí)體：

實(shí)驗(yàn)結(jié)果

點(diǎn)擊以下標(biāo)題查看更多相關(guān)文章：?

• 從 6 篇頂會(huì)論文看「知識(shí)圖譜」領(lǐng)域最新研究進(jìn)展

• 「知識(shí)圖譜」領(lǐng)域近期值得讀的 6 篇頂會(huì)論文

• 基于置信度的知識(shí)圖譜表示學(xué)習(xí)框架
  

• 綜述 | 知識(shí)圖譜向量化表示
  

• 東南大學(xué)周張泉：基于知識(shí)圖譜的推理技術(shù)

▲?戳我查看招募詳情

#作 者 招 募#

讓你的文字被很多很多人看到，喜歡我們不如加入我們

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的关于知识图谱，各路大神最近都在读哪些论文？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。