內(nèi)容速覽

• 向量建模的核心思想
• 如何用分布式表達(dá)表示答案和問題
  
• 如何訓(xùn)練分布式表達(dá)
• 論文實驗與總結(jié)

本期我們將介紹KB-QA傳統(tǒng)方法之一的向量建模（Vector Modeling），我們以一個該方法的經(jīng)典代表作為例，為大家進(jìn)一步揭開知識庫問答的面紗。該方法來自Facebook公司Bordes A, Chopra S, Weston J的論文 Question answering with subgraph embeddings （文章發(fā)表于2014年的EMNLP會議）。

向量建模的核心思想

向量建模方法的思想和信息抽取的思想比較接近。首先根據(jù)問題中的主題詞在知識庫中確定候選答案。把問題和候選答案都映射到一個低維空間，得到它們的分布式表達(dá)（Distributed Embedding），通過訓(xùn)練數(shù)據(jù)對該分布式表達(dá)進(jìn)行訓(xùn)練，使得問題向量和它對應(yīng)的正確答案向量在低維空間的關(guān)聯(lián)得分（通常以點乘為形式）盡量高。當(dāng)模型訓(xùn)練完成后，則可根據(jù)候選答案的向量表達(dá)和問題表達(dá)的得分進(jìn)行篩選，找出得分最高的作為最終答案。

此時，你的心中可能會出現(xiàn)兩個問題，一是如何將問題和答案映射到低維空間，顯然我們不能僅僅將自然語言的問題和答案進(jìn)行映射，還要將知識庫里的知識也映射到這個低維空間中（否則我們就只是在做QA而非KB-QA了）。第二個問題是，如果做過類似工作（one-shot，imgae caption，word embedding等）的朋友應(yīng)該知道，使用這種方法是需要大量數(shù)據(jù)去訓(xùn)練這個低維空間的分布式表達(dá)的，而KB-QA中的benchmark數(shù)據(jù)集WebQuestion只含有5800多個問題答案對，這樣的數(shù)據(jù)是難以訓(xùn)練好這種表達(dá)的。

接下來，就讓我們帶著這兩個問題，一起看看作者是怎么解決的。

如何用分布式表達(dá)表示答案和問題

問題的分布式表達(dá)：首先我們把自然語言問題進(jìn)行向量化，作者將輸入空間的維度N設(shè)置為字典的大小+知識庫實體數(shù)目+知識庫實體關(guān)系數(shù)目，對于輸入向量每一維的值設(shè)置為該維所代表的單詞（當(dāng)然這一維也可能代表的是某個實體數(shù)目或?qū)嶓w關(guān)系，對于問題的向量化，這些維數(shù)都設(shè)置為0）在問題中出現(xiàn)的次數(shù)（一般為0或1次），可以看出這是一種multi-hot的稀疏表達(dá)，是一種簡化版的詞袋模型（Bag-of-words model）。

我們用代表問題，用代表N維的問題向量，用矩陣將N維的問題向量映射到維的低維空間，那么問題的分布式表達(dá)即

答案的分布式表達(dá)：我們想想可以怎樣對答案進(jìn)行向量化，最簡單的方式，就是像對問題一樣的向量化方式，使用一個簡化版的詞袋模型。由于答案都是一個知識庫實體，那么這樣的表達(dá)就是一個one-hot的表達(dá)，顯然，這種方式并沒有把知識庫的知識引入到我們的輸入空間中。

第二種方式，我們把知識庫想象成一個圖，圖的節(jié)點代表實體，邊代表實體關(guān)系。通過問題中的主題詞可以定位到圖中的一個節(jié)點，該節(jié)點到答案節(jié)點有一條路徑，我們把該路徑上的所有邊（實體關(guān)系）和點（實體）都以multi-hot的形式存下來作為答案的輸入向量。我們這里只考慮一跳（hop）或者兩跳的路徑，如路徑(barack obama, place of birth, honolulu)是一跳，路徑(barack obama, people.person.place of birth, location.location.containedby, hawaii) 是兩跳。因此這種表示是一種3-hot或4-hot的表示。

第三種方式，讓我們回想一下我在揭開知識庫問答KB-QA的面紗3·信息抽取篇介紹的信息抽取的方法，對于每一個候選答案，該答案所對應(yīng)的屬性（type/gender等）和關(guān)系都是能夠幫助我們判斷它是否是正確答案的重要信息，因此我們可以把每個候選答案對應(yīng)的知識庫子圖（1跳或2跳范圍）也加入到輸入向量中，假設(shè)該子圖包含C個實體和D個關(guān)系，那么我們最終的表達(dá)是一種3+C+D-hot或者4+C+D-hot的表達(dá)。和信息抽取方法一樣，我們也對關(guān)系的方向進(jìn)行區(qū)分，因此我們輸入向量的大小變?yōu)樽值涞拇笮?#43;2*(知識庫實體數(shù)目+知識庫實體關(guān)系數(shù)目)。

同樣的，我們用表示答案，用表示答案的輸入向量，用矩陣將問題向量映射到維的低維空間，答案的分布式表達(dá)即。

向量得分：最后我們用一個函數(shù)表征答案和問題的得分，我們希望問題和它對應(yīng)的正確答案得盡量高分，通過比較每個候選答案的得分，選出最高的，作為正確答案。得分函數(shù)定義為二者分布式表達(dá)的點乘，即。

上述整個流程如下圖所示

如何訓(xùn)練分布式表達(dá)

對于訓(xùn)練數(shù)據(jù)集，我們一個定義margin-based ranking損失函數(shù)，公式如下

做過zero-shot或者對SVM了解的朋友應(yīng)該對這個式子不會陌生，其中 表示負(fù)樣本集 中的一個負(fù)樣本（錯誤答案），m是一個值為0.1的margin。最小化這個損失函數(shù)，意味著我們希望正確答案和問題的得分要比任意錯誤答案的得分高出一個margin。

和訓(xùn)練word embedding一樣，為減少計算量，我們通過采樣的方式構(gòu)造負(fù)樣本，50%來自隨機(jī)挑選，50%來自與問題主題詞實體相連的其它路徑。

由于benchmark數(shù)據(jù)集WebQuestion包含的樣本數(shù)過少，作者還構(gòu)造了其他幾個數(shù)據(jù)集：

Freebase：選取freebase中包含出現(xiàn)頻率高于5次實體的三元組，得到一個知識庫子集（含2.2M實體和7K關(guān)系），對于每一個三元組如(subject, type1.type2.predicate, object)，我們通過自動化的方式，生成這樣的問題答案對：

Quesiton：“What is the predicate of the type2subject?” Answer：object

ClueWeb Extractions： 由于 Freebase的三元組都是形式化語言，并不貼近自然語言，我們也用同樣的方式將ClueWeb上提取出的三元組(subject, “text string”, object)通過少量模板作同樣的變換（作者提取了2M對三元組）。

這樣我們就在WebQuestion數(shù)據(jù)集的基礎(chǔ)上，得到了一個新的擴(kuò)展數(shù)據(jù)集，該數(shù)據(jù)集的例子如下表所示：

可以看出，擴(kuò)增版的數(shù)據(jù)集，問題大多數(shù)都是自動構(gòu)造的，缺乏多樣性和真實性。怎么辦呢？我們希望 訓(xùn)練數(shù)據(jù)中問題的分布式表達(dá)盡量貼近它所類似的真實問題的分布式表達(dá) 。因此，作者在WikiAnswers中抓取了2.2M問題（不含答案），通過問題的分類標(biāo)簽，將它們分為了350k個類簇（可以理解為每個類簇里的自然語言問題它所表達(dá)的意思是一樣的）。如下表所示

接下來我們就可以進(jìn)行一個多任務(wù)學(xué)習(xí)（multi-task），讓同一個類簇的問題得分較高，即，其訓(xùn)練方式和之前訓(xùn)練答案和問題得分是一樣的。

至此，通過以上兩種訓(xùn)練，我們的分布式表達(dá)就訓(xùn)練完畢了。

論文實驗與總結(jié)

根據(jù)問題首先要確定候選答案，這里作者確定候選答案的方式和信息抽取略有不同。首先在從問題中主題詞對應(yīng)的知識庫實體出發(fā)，通過beam search的方式保存10個和問題最相關(guān)的實體關(guān)系（通過把實體關(guān)系當(dāng)成答案，用式子的得分作為beam search的排序標(biāo)準(zhǔn)）。接下來選取主題詞兩跳范圍以內(nèi)的路徑，且該路徑必須包含這10個關(guān)系中的關(guān)系，將滿足條件的路徑的終點對應(yīng)的實體作為候選答案，其中，1跳路徑的權(quán)值是2跳的1.5倍（因為2跳包含的元素更多）。

確定完候選答案后，選取得分最高的作為最終答案。

該方法在WebQuestion數(shù)據(jù)集上進(jìn)行測試，取得了39.2的F1-Score。

可以看出，相比信息抽取和語義解析的方法，該方法幾乎不需要任何手工定義的特征（hand- crafted features），也不需要借助額外的系統(tǒng)（詞匯映射表，詞性標(biāo)注，依存樹等）。相對來說，比較簡單，也較容易實現(xiàn)，能取得39.2的F1-score得分（斯坦福13年的語義解析方法只有35.7）也說明了該方法的強(qiáng)大性。通過自動化的方式擴(kuò)展數(shù)據(jù)集和多任務(wù)訓(xùn)練也部分解決了實驗數(shù)據(jù)不足的缺點。

然而，向量建模方法，是一種趨于黑盒的方法，缺少了解釋性（語義解析可以將問題轉(zhuǎn)化成一種邏輯形式的表達(dá)，而信息抽取構(gòu)造的每一維特征的含義也是離散可見的），更重要的是，它也缺少了我們的先驗知識和推理（可以看出其F1-score略低于14年使用了大量先驗知識的信息抽取方法，該方法F1-score為42.0），事實上，這也是現(xiàn)在深度學(xué)習(xí)一個比較有爭議的詬病。

就篇論文的向量建模方法來說，也存在一些問題，比如對問題的向量表示采用了類似詞袋模型的方法，這樣相當(dāng)于并未考慮問題的語言順序（比如 “謝霆鋒的爸爸是誰？” 謝霆鋒是誰的爸爸？ 這兩個問題用該方法得到的表達(dá)是一樣的，然而這兩個問題的意思顯然是不同的），且訓(xùn)練分布式表達(dá)的模型很簡單，相當(dāng)于一個兩層的感知機(jī)。這些問題，可以通過深度學(xué)習(xí)來解決。

隨著深度學(xué)習(xí)的加入，KB-QA進(jìn)入了一個新的時代。下一期，我們將進(jìn)入深度學(xué)習(xí)篇，由于深度學(xué)習(xí)可以對傳統(tǒng)的三種方法都可以進(jìn)行提升，因此我打算將深度學(xué)習(xí)篇拆成2~3篇來進(jìn)行講解，進(jìn)一步揭開KB-QA的面紗。

敬請期待。

https://zhuanlan.zhihu.com/p/25824501

總結(jié)

以上是生活随笔為你收集整理的揭开知识库问答KB-QA的面纱4·向量建模篇的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。