筆記整理 |?朱珈徵，天津大學(xué)碩士

---

鏈接：https://www.aclweb.org/anthology/2020.emnlp-main.132.pdf

動機(jī)

從自由文本中提取實體和關(guān)系是自然語言處理中的一項重要任務(wù)。它的目標(biāo)是識別具有特定類型(實體)和這些實體(關(guān)系)之間的語義關(guān)系的文本。本文主要研究聯(lián)合實體關(guān)系的提取。在這篇文章中，作者將跨域相關(guān)資訊整合到預(yù)先訓(xùn)練好的編碼器中，以執(zhí)行實體關(guān)系抽取作業(yè)。并在預(yù)訓(xùn)練網(wǎng)絡(luò)中引入了一個span編碼器和一個span對編碼器，使得跨內(nèi)和跨間信息更容易導(dǎo)入預(yù)訓(xùn)練模型，而不是使用通用的句子編碼器（如現(xiàn)有的通用預(yù)訓(xùn)練模型）。為了學(xué)習(xí)編碼器，作者從不同的角度設(shè)計了三個定制的預(yù)訓(xùn)練目標(biāo)，分別針對token、span和span對。特別地，訓(xùn)練span編碼器以恢復(fù)span中令牌的隨機(jī)洗牌，并且訓(xùn)練span對編碼器以使用對比丟失來預(yù)測來自相同句子的正對和來自不同句子的負(fù)對。實驗結(jié)果表明，該預(yù)訓(xùn)練方法優(yōu)于遠(yuǎn)程監(jiān)督預(yù)訓(xùn)練方法，在兩個實體關(guān)系抽取基準(zhǔn)數(shù)據(jù)集（ACE05，SciERC）上取得了良好的效果。

亮點(diǎn)

該工作的亮點(diǎn)主要包括：

（1）引入了一個跨距編碼器和一個跨距對編碼器，將跨距內(nèi)和跨距間的信息整合到預(yù)訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)中，這在通用的預(yù)訓(xùn)練模型中是被忽略的。

（2）設(shè)計了三種新的目標(biāo)，標(biāo)記邊界目標(biāo)、跨度排列目標(biāo)和對比跨度對目標(biāo)來學(xué)習(xí)更好的編碼器。

（3）實驗結(jié)果表明，該方法不僅在實體關(guān)系抽取任務(wù)上超過了BERT，而且在ACE05數(shù)據(jù)集上取得了顯著的改進(jìn)，與SciERC數(shù)據(jù)集上的最新成果相當(dāng)

概念及模型

給定一個輸入句子??和x中的一組跨度S（隨機(jī)抽樣），預(yù)訓(xùn)練模型的目標(biāo)是獲得每個跨度??的上下文向量表示，以及每個跨度對（s1，s2）的上下文向量表示。如下圖所示，預(yù)訓(xùn)練任務(wù)優(yōu)化了共享transformer網(wǎng)絡(luò)、span級CNN和關(guān)于令牌邊界目標(biāo)、span置換目標(biāo)和對比span對目標(biāo)的注意參數(shù)。與通常的預(yù)訓(xùn)練語言模型不同，該網(wǎng)絡(luò)包含了豐富的跨內(nèi)和跨間信息。一旦該網(wǎng)絡(luò)被預(yù)先訓(xùn)練，就可以為實體關(guān)系提取任務(wù)對其進(jìn)行微調(diào)。

• 句子編碼器

為了獲得句子x中每個標(biāo)記的上下文表示h_i，作者使用多層Transformer作為基本編碼器，就像其他的預(yù)訓(xùn)練模型一樣，如UNILM、BERT和XLM。多層Transformer的輸出通過以下方式計算：

x_i的單詞表示x_i跟隨BERT的單詞表示，并對相應(yīng)的標(biāo)記、段和位置嵌入求和。

?

• 跨距編碼器

給定句子中的Span ??，為了計算相應(yīng)的上下文Span表示h_s，作者使用了一個CNN(一個單一的卷積層，帶有一個最大池化層，后面是向量??上的MLP。如上圖的右邊部分所示。

?

• 跨距對編碼器

給定句子x中的跨度對p=（s₁；s₂），句子x被分成五個跨度，即左上下文（L）、s1、中上下文（M）、s2和右上下文（R）。為了獲得相應(yīng)的上下文跨度對表示???，作者首先使用跨度編碼器來提取關(guān)于五個跨度的五個特征向量。設(shè)??為span編碼器計算的相應(yīng)表示。為了使模型能夠關(guān)注更多的信息廣度，作者將跨度對p表示為一個位置感知注意機(jī)制的上下文廣度表示的加權(quán)和：

其中注意力得分a_j可以計算為：

?

• 預(yù)訓(xùn)練目標(biāo)

TokenBoundary Objective (TBO)：提出了一個變體的MLM，具體地說，對于每個令牌，作者屏蔽除第一個子令牌之外的子令牌，然后用第一個子令牌表示和相應(yīng)的位置嵌入來預(yù)測被屏蔽的子令牌。在實驗中，為每個句子隨機(jī)選擇15%的子標(biāo)記來實現(xiàn)這個目標(biāo)。

SpanPermutation Objective (SPO)：提出了一種不同的策略來將跨內(nèi)信息整合到預(yù)訓(xùn)練模型中。SpanBERT仍然致力于增強(qiáng)單個標(biāo)記的表示，而作者強(qiáng)調(diào)整個跨度的上下文表示。不是在SpanBERT中預(yù)測一個被屏蔽的span的每個標(biāo)記，而是在span中洗牌這些標(biāo)記，然后期望模型能夠識別中斷。

ContrastiveSpan Pair Objective (CSPO)：提出了一種基于對比學(xué)習(xí)框架的跨對層次目標(biāo)。受InfoWord的啟發(fā)，它將跨度及其匹配的上下文(即同一句子中的上下文)視為正對。否則作為否定對。作者把這個想法推廣到span對的層次上。

?

理論分析

實驗

在這一部分，作者在ACE05和SciERC兩個基準(zhǔn)實體關(guān)系提取數(shù)據(jù)集上進(jìn)行了實驗。ACE05數(shù)據(jù)集為文檔集合注釋實體和關(guān)系類型。它是實體關(guān)系抽取任務(wù)的標(biāo)準(zhǔn)語料庫。語料庫中有7種實體類型和6種關(guān)系類型。SciERC數(shù)據(jù)集提供500篇科學(xué)摘要的實體注釋、參考注釋和關(guān)系注釋，這些科學(xué)摘要均來自會議/研討會的論文集。實驗中只使用實體和關(guān)系的注解。語料包含6種科學(xué)實體類型和7種關(guān)系類型。實驗像之前的工作一樣將Fl評分作為評估標(biāo)準(zhǔn)。具體來說，如果一個輸出實體的類型和邊界是正確的，那么它就是正確的；如果它的類型和它的兩個參數(shù)實體是正確的，那么輸出關(guān)系就是正確的(即完全匹配)。

上表為模型在ACE05數(shù)據(jù)集上的實驗結(jié)果，將這篇文章的方法與上表中以前的工作進(jìn)行比較。總的來說，作者提出的預(yù)訓(xùn)練方法“SPE”在兩種關(guān)系評價方法上都比現(xiàn)有的模型有了顯著的改進(jìn)。特別是，它比基于LSTM的GCN聯(lián)合模型提高了4.1分，比基于bert的QA模型提高了3.0%；與多任務(wù)學(xué)習(xí)相比較在ELMO和BERT上也取得了顯著的改善。值得注意的是，該模型的實體檢測結(jié)果表現(xiàn)不佳，主要原因是在微調(diào)步驟中，作者不引入額外的監(jiān)督信號，如參考解析和事件提取。然而，即使沒有額外的多任務(wù)訓(xùn)練數(shù)據(jù)，該模型仍然獲得了最佳的關(guān)系性能，證明
了所提出的訓(xùn)練前方法對于實體關(guān)系提取任務(wù)的有效性。

上表為模型在SciERC數(shù)據(jù)集上的實驗結(jié)果，基線方法是使用ELMOembeddings學(xué)習(xí)多任務(wù)和使用BERT進(jìn)行多任務(wù)學(xué)習(xí)。從上表的上面一部分來看，“BERT”和“SPE”在實體性能和關(guān)系性能上都顯著優(yōu)于ELMO。作者把這一現(xiàn)象歸因于BERT的強(qiáng)大能力。“SPE”的性能優(yōu)于“BERT”，表明所提出的目標(biāo)在實體關(guān)系提取方面很有幫助，并且能夠?qū)⒖缍刃畔⒄系筋A(yù)先訓(xùn)練的模型中。該預(yù)訓(xùn)練模型可以匹配先前最先進(jìn)的BERT多任務(wù)學(xué)習(xí)方法，而無需額外的多任務(wù)學(xué)習(xí)數(shù)據(jù)。

?

總結(jié)

提出了一個具有三個目標(biāo)的預(yù)訓(xùn)練網(wǎng)絡(luò)體系結(jié)構(gòu)，可以將跨內(nèi)信息和跨間信息整合到預(yù)訓(xùn)練模型中。與通用的預(yù)訓(xùn)練模型相比，作者引入了一個跨度編碼器和一個跨度畫式編碼器。通過設(shè)計三個預(yù)訓(xùn)練目標(biāo)，作者可以更好地學(xué)習(xí)為實體關(guān)系提取任務(wù)定制的預(yù)訓(xùn)練編碼器。在兩個基準(zhǔn)數(shù)據(jù)集上的實驗驗證了所提預(yù)訓(xùn)練方法的有效性。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 利用跨内和跨间信息的预训练实体关系编码器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。