作者丨邴立東、李昕、李正、彭海韻、許璐

單位丨阿里巴巴達(dá)摩院等

任務(wù)簡(jiǎn)介

我們略過(guò)關(guān)于 sentiment analysis 重要性的鋪陳，直接進(jìn)入本文涉及的任務(wù)。先上例子，對(duì)于一句餐館評(píng)論：“Waiters are very friendly and the pasta is simply average.”，提到了兩個(gè)評(píng)論目標(biāo)：“waiter”和“pasta”；用來(lái)評(píng)價(jià)他們的詞分別是：“friendly”和“average”；這句話(huà)評(píng)論的分別是餐館的“service”和“food”方面。

以上便是 Aspect-Based Sentiment Analysis (ABSA) 任務(wù)中處理的三類(lèi)對(duì)象：aspect、opinion、aspect category。也就是下圖中的最上層。

從目標(biāo)識(shí)別角度，針對(duì) aspect term 和 opinion term，存在抽取問(wèn)題；針對(duì) aspect category，存在分類(lèi)問(wèn)題（假設(shè)預(yù)定義 aspect categories）。從情感分析角度，對(duì) aspect term 和 aspect category 存在情感分類(lèi)問(wèn)題。這些原子任務(wù)如下圖中間層所示。注意，一句評(píng)論里可能沒(méi)有顯示提及 aspect term，但同樣可以存在 aspect category，比如“I was treated rudely.”講的是“service”。

在已有的工作中，研究者也探索了結(jié)合兩個(gè)或以上原子任務(wù)，如上圖底層所示。基于任務(wù)之間的耦合關(guān)系，期望聯(lián)合任務(wù)能取得更優(yōu)的效果。比如我們提出的在做 aspect extraction 的同時(shí)預(yù)測(cè) sentiment 極性（下文介紹的第一個(gè)工作），這個(gè)任務(wù)被稱(chēng)作 End-to-End ABSA (E2E-ABSA)，對(duì)應(yīng)于上圖底層最左側(cè)圓圈。

我們也嘗試了利用遷移學(xué)習(xí)，來(lái)解決在低資源、少資源 domain 上的 E2E-ABSA 任務(wù)（下文介紹的第二個(gè)工作）。Aspect 及其 sentiment 極性（即 E2E-ABSA 任務(wù)），同表明這個(gè)極性的 opinion term，這三者之間是緊密相關(guān)的，為此我們提出 Aspect Sentiment Triplet Extraction (ASTE) 任務(wù)（下文介紹的第三個(gè)工作），對(duì)應(yīng)于上圖底層藍(lán)色填充圓圈。

End-to-End ABSA任務(wù)

本小節(jié)工作來(lái)自論文：

1. A Unified Model for Opinion Target Extraction and Target Sentiment Prediction. In AAAI 2019.?

源碼鏈接：https://github.com/lixin4ever/E2E-TBSA

2. Exploiting BERT for End-to-End Aspect-based Sentiment Analysis. In EMNLP W-NUT Workshop 2019.?

源碼鏈接：https://github.com/lixin4ever/BERT-E2E-ABSA

問(wèn)題定義

基于評(píng)論目標(biāo)的端到端情感分析（End-to-End Aspect/Target-Based Sentiment Analysis, E2E-ABSA）的目的在于同時(shí)檢測(cè)用戶(hù)評(píng)論的目標(biāo)/方面（Target/Aspect）以及相應(yīng)的情感傾向（Target/Aspect Sentiment）。

我們將 E2E-ABSA 任務(wù)定義為一階段的序列標(biāo)注問(wèn)題并引入了一種統(tǒng)一的標(biāo)注模式（unified tagging schema）來(lái)將 Aspect 的位置信息和情感信息同時(shí)集成到單個(gè)標(biāo)簽當(dāng)中。

如下圖中的“Unified”行所示，除了 O 之外的每個(gè)標(biāo)簽的組成元素都包含位置（B/I/E/S）和情感標(biāo)簽（POS/NEG/NEU）。在這種標(biāo)注模式下，輸入為單詞序列，輸出為每個(gè)單詞對(duì)應(yīng)的 unified tag。

相關(guān)方法的局限

本任務(wù)中，aspect 抽取加情感判斷，是一個(gè)很自然的兩階段建模問(wèn)題。因此，E2E-ABSA 可以通過(guò)流水線(xiàn)（pipeline）或者聯(lián)合建模（joint）的方式解決。

基于pipeline 的解決方案會(huì)先檢測(cè)文本中的 aspect（序列標(biāo)注問(wèn)題），然后再判斷相應(yīng)的情感傾向（分類(lèi)問(wèn)題）。這種方案簡(jiǎn)單直接，但是存在 error propagation 的局限。

基于 joint 的解決方案將 E2E-ABSA 轉(zhuǎn)化為兩個(gè)串聯(lián)的序列標(biāo)注問(wèn)題，即 target 標(biāo)注和 sentiment 標(biāo)注問(wèn)題，如上圖中的“Joint”行所示。該方案能夠很大程度上減輕 error propagation 問(wèn)題，但是工作?[1] [2] [3]?指出，把序列標(biāo)注問(wèn)題拆分為多個(gè)子問(wèn)題逐步解決，并不會(huì)比解決單個(gè)問(wèn)題性能更好。

基于以上的考慮，我們?cè)O(shè)計(jì)了一種統(tǒng)一的標(biāo)注模式并基于這種模式提出了解決統(tǒng)一 E2E-ABSA 序列標(biāo)注問(wèn)題的神經(jīng)網(wǎng)絡(luò)模型（unified 方案）。需要注意的是，工作?[4] [5]?也嘗試了用 unified 方案去解決 E2E-ABSA 問(wèn)題，但是效果均差于 pipeline 方案和 joint 方案。所以，提出了一個(gè)更有效的 unified 方案也是我們的貢獻(xiàn)之一。

我們的模型

根據(jù)以上統(tǒng)一的標(biāo)注模式（unified tagging schema）的設(shè)計(jì)，我們將 E2E-ABSA 建模為一個(gè)序列標(biāo)注問(wèn)題。同時(shí)，我們還從下游模型的建模能力和詞義表示的質(zhì)量這兩個(gè)角度來(lái)探索如何提升 unified 方案的性能：

1. 更強(qiáng)大的下游模型：我們提出了一個(gè)新的堆疊式循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)解決 E2E-ABSA 問(wèn)題。這個(gè)模型包含了兩層堆疊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），上層的 RNN 用于解決 E2E-ABSA 問(wèn)題（即預(yù)測(cè) unified 方案中的標(biāo)簽序列），下層的 RNN 負(fù)責(zé)檢測(cè)評(píng)論目標(biāo)的邊界。

為了充分利用評(píng)論目標(biāo)的邊界信息，我們提出了一個(gè) Boundary Guidance (BG) 組件顯式地把下層 RNN 提取的邊界信息加入到 E2E-ABSA 的序列決策中。在序列預(yù)測(cè)過(guò)程中，我們還通過(guò) Sentiment Consistency (SC) 組件，來(lái)加強(qiáng)當(dāng)前詞和過(guò)去一個(gè)時(shí)刻的詞的關(guān)系，從而緩解同一個(gè)評(píng)論目標(biāo)短語(yǔ)內(nèi)情感標(biāo)簽不一致的問(wèn)題。

?

2. 更好的詞級(jí)別語(yǔ)義表示：我們利用預(yù)訓(xùn)練的 BERT?[6]?來(lái)產(chǎn)生上下文相關(guān)的詞向量，然后將 BERT 與標(biāo)準(zhǔn)的神經(jīng)序列模型，例如：LSTM, Self-Attention Networks?[7], CRF?[8]?等結(jié)合起來(lái)解決 E2E-ABSA 這個(gè)序列標(biāo)注問(wèn)題。

主要結(jié)果

我們?cè)?SemEval Laptop、SemEval Restaurant 和 Twitter 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。方案 1 的實(shí)驗(yàn)結(jié)果如下。我們提出的第一種 unified 方案（方案 1），在所有數(shù)據(jù)集上均勝過(guò)現(xiàn)有的 pipeline 方案（HAST-TNet）和 joint 方案（NN-CRF-joint）。我們的方案同樣也優(yōu)于三種基于 LSTM-CRF（NER 任務(wù)中最常用的模型）的 unified 方案。

以上結(jié)果不僅驗(yàn)證了我們所設(shè)計(jì)的統(tǒng)一標(biāo)注模式（unified tagging schema）在 E2E-ABSA 任務(wù)上的適用性，也說(shuō)明了更強(qiáng)大的下游神經(jīng)網(wǎng)絡(luò)框架能夠更精確地識(shí)別評(píng)論目標(biāo)以及對(duì)應(yīng)的用戶(hù)情感傾向。

?

方案 2 的實(shí)驗(yàn)結(jié)果如下。從表格中我們可以看到，在引入 BERT 的情況下，使用最簡(jiǎn)單的下游任務(wù)模型（i.e, BERT-Linear）都可以勝過(guò)之前最好的模型（Luo et al., 2019）；繼續(xù)增加下游網(wǎng)絡(luò)的復(fù)雜度（i.e., BERT-GRU, BERT-TFS, BERT-CRF），模型的效果能夠得到進(jìn)一步提升。

這些結(jié)果表明 BERT 所提供的的上下文相關(guān)的語(yǔ)義表示對(duì)于提升 E2E-ABSA 系統(tǒng)性能的重要性。一個(gè)很自然的問(wèn)題就是結(jié)合我們的方案 1 和方案 2 結(jié)果會(huì)怎么樣，目前正在實(shí)驗(yàn)中。

本小節(jié)參考文獻(xiàn)

[1] Jing, Hongyan, et al. "HowtogetaChineseName (Entity): Segmentation and combination issues."?Proceedings of the 2003conference on Conference on Empirical Methods in Natural Language Processing (EMNLP). 2003.

[2] Ng, Hwee Tou, and Jin Kiat Low. "Chinese part-of-speech tagging: One-at-a-time or all-at-once? word-based or character-based?."?Proceedings of the 2004 Conference on EmpiricalMethods in Natural Language Processing (EMNLP). 2004.

[3] Miwa, Makoto, and Yutaka Sasaki. "Modeling joint entity and relation extraction with table representation."?Proceedings of the2014 Conference on Empirical Methods in Natural Language Processing (EMNLP).2014.

[4] Mitchell, Margaret, et al. "Open domain targeted sentiment."?Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing(EMNLP). 2013.

[5] Zhang, Meishan, Yue Zhang, and Duy Tin Vo. "Neural networks for open domain targeted sentiment."?Proceedings of the 2015Conference on Empirical Methods in Natural Language Processing (EMNLP).2015.

[6] Devlin, Jacob, et al. "BERT: Pre-training of DeepBidirectional Transformers for Language Understanding."?Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2019.

[7] Vaswani, Ashish, et al. "Attention is all you need."?Advances in neural information processing systems.2017.

[8] Lafferty, John D., Andrew McCallum, and Fernando CN Pereira."Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data."?Proceedings of the EighteenthInternational Conference on Machine Learning. 2001.

Transfer Learning for E2E-ABSA

本小節(jié)工作來(lái)自論文：

Transferable End-to-End Aspect-based Sentiment Analysis with Selective Adversarial Learning, In EMNLP 2019.

源碼鏈接：https://github.com/hsqmlzno1/Transferable-E2E-ABSA

?

問(wèn)題定義

可遷移的基于評(píng)價(jià)目標(biāo)的端到端情感分析（Transferable End-to-End Aspect-Based Sentiment Analysis, Trans-E2E-ABSA）是建立在 E2E-ABSA 統(tǒng)一的標(biāo)注模式（序列標(biāo)注）下無(wú)監(jiān)督領(lǐng)域自適應(yīng)的問(wèn)題設(shè)置，目的在于利用有大量標(biāo)簽數(shù)據(jù)的源領(lǐng)域?qū)W習(xí)到的知識(shí)幫助無(wú)任何標(biāo)簽數(shù)據(jù)的目標(biāo)領(lǐng)域進(jìn)行序列學(xué)習(xí)（統(tǒng)一標(biāo)注的預(yù)測(cè)）。

如下圖所示，在筆記本電腦源領(lǐng)域（source domain），我們有大量的標(biāo)簽數(shù)據(jù)，即用戶(hù)評(píng)論中標(biāo)注了所有出現(xiàn)的評(píng)價(jià)目標(biāo)以及其情感傾向（[AMD]B_POS [Turing]I_POS [Processor]E_POS, [Intel]S_NEG），對(duì)于餐館目標(biāo)領(lǐng)域（target domain），只有無(wú)標(biāo)簽數(shù)據(jù)，即不標(biāo)記任何出現(xiàn)的評(píng)價(jià)目標(biāo)以及對(duì)應(yīng)的情感。Trans-E2E-ABSA 需要遷移筆記本電腦領(lǐng)域的學(xué)習(xí)知識(shí)來(lái)幫助餐館領(lǐng)域進(jìn)行的評(píng)價(jià)對(duì)象以及情感的預(yù)測(cè)。

相關(guān)方法的局限

在真實(shí)場(chǎng)景下，總存在只有少量或者沒(méi)有標(biāo)簽數(shù)據(jù)的新領(lǐng)域，而手工標(biāo)注用戶(hù)評(píng)論中每個(gè)詞的統(tǒng)一標(biāo)簽是耗時(shí)且昂貴的。這構(gòu)成了遷移學(xué)習(xí)在 E2E-ABSA 任務(wù)上必要性。

現(xiàn)有的基于評(píng)價(jià)對(duì)象的端到端情感分析的研究只考慮到單個(gè)領(lǐng)域的性能表現(xiàn)，而忽略了跨領(lǐng)域的遷移與泛化能力。因此，我們提出了在 E2E-ABSA 下的無(wú)監(jiān)督領(lǐng)域自適應(yīng)的問(wèn)題設(shè)置來(lái)幫助緩解模型依賴(lài)于領(lǐng)域的監(jiān)督。

與之前無(wú)監(jiān)督領(lǐng)域自適應(yīng)在情感分析任務(wù)相比，E2E-ABSA 問(wèn)題的遷移學(xué)習(xí)更加具有挑戰(zhàn)性：

1. 由于不同領(lǐng)域評(píng)價(jià)對(duì)象的不同，領(lǐng)域間特征分布差異很大。例如，用戶(hù)通常在餐館領(lǐng)域提及“pizza”，而在筆記本電腦領(lǐng)域常常討論“camera”；

2. 不像在普通情感分類(lèi)問(wèn)題下的領(lǐng)域自適應(yīng)目的是為了學(xué)習(xí)領(lǐng)域間共享的句子或者文檔級(jí)的特征表達(dá)?[1]，我們需要學(xué)習(xí)更加細(xì)粒度的（詞級(jí)別）領(lǐng)域共享的特征表達(dá)來(lái)進(jìn)行序列的預(yù)測(cè)。

?

我們的模型

我們使用了?[2]?中提出的堆疊式雙向 LSTM 來(lái)作為我們的 base 模型，即上層 LSTM 用于預(yù)測(cè)統(tǒng)一標(biāo)簽（評(píng)價(jià)對(duì)象+情感極性），下層的 LSTM 負(fù)責(zé)檢測(cè)評(píng)論對(duì)象的邊界。為了使得該 base 模型可以在領(lǐng)域之間遷移，我們?cè)O(shè)計(jì)了兩個(gè)不同的模塊來(lái)分別解決遷移學(xué)習(xí)對(duì)于 E2E-ABSA 任務(wù)的兩個(gè)核心問(wèn)題：1）遷移什么？2）如何遷移？

1. 遷移什么？

盡管在不同的領(lǐng)域評(píng)價(jià)對(duì)象不同，但評(píng)價(jià)對(duì)象與觀(guān)點(diǎn)詞（情感詞）關(guān)聯(lián)的模式在領(lǐng)域間是共享的。例如，在餐館領(lǐng)域中的“The pizza is great“和在筆記本電腦領(lǐng)域中的“The camera is excellent”，他們共享相同的句法模式（評(píng)價(jià)對(duì)象→nsubj→觀(guān)點(diǎn)詞）。

受此啟發(fā)，現(xiàn)有的相關(guān)工作使用通用語(yǔ)法關(guān)系來(lái)作為樞紐來(lái)減少領(lǐng)域間的差異，用于跨領(lǐng)域的評(píng)價(jià)對(duì)象的抽取?[3] [4]，或者跨領(lǐng)域評(píng)價(jià)與觀(guān)點(diǎn)對(duì)象抽取?[5] [6]。然而，這些方法高度依賴(lài)先驗(yàn)知識(shí)（手工設(shè)計(jì)的規(guī)則）或外部語(yǔ)言資源（依存關(guān)系語(yǔ)法分析），這使得模型不夠靈活以及容易引入外部的知識(shí)錯(cuò)誤。

與此相反，我們提出了一種雙內(nèi)存交互（DMI）機(jī)制來(lái)自動(dòng)捕捉評(píng)價(jià)對(duì)象與觀(guān)點(diǎn)詞之間的隱藏關(guān)系。DMI 通過(guò)多次交互 local memory（LSTM 隱狀態(tài)）與 global 的評(píng)價(jià)對(duì)象 memory，觀(guān)點(diǎn)詞 memory 的方式，推理出每個(gè)詞的關(guān)系表達(dá)，從而可用于序列標(biāo)注任務(wù)下遷移的知識(shí)。

2. 如何遷移？

對(duì)于序列預(yù)測(cè)任務(wù)下的遷移，其中一種最直接的辦法就是應(yīng)用領(lǐng)域自適應(yīng)的方法來(lái)對(duì)齊句子中所有的詞，使得在源領(lǐng)域訓(xùn)練好的序列標(biāo)注器（tagger）可以同時(shí)很好的在目標(biāo)領(lǐng)域進(jìn)行預(yù)測(cè)。然而這種方式并不會(huì)帶來(lái)顯著的性能提升。

我們一個(gè)重要的發(fā)現(xiàn)是：在序列預(yù)測(cè)任務(wù)下的遷移，由于每個(gè)詞對(duì)于領(lǐng)域共享的特征空間的貢獻(xiàn)不同，我們需要對(duì)不同的詞使用不同的領(lǐng)域自適應(yīng)的權(quán)重。在 E2E-ABSA 任務(wù)中，我們著重的對(duì)齊句子中更加具有信息量的評(píng)價(jià)對(duì)象。這是因?yàn)榻y(tǒng)一的標(biāo)注模式（unified tagging schema）將評(píng)價(jià)對(duì)象的位置信息和情感信息同時(shí)集成到單個(gè)標(biāo)簽中，并且賦予了評(píng)價(jià)對(duì)象，其對(duì)共享的特征空間的貢獻(xiàn)比句子中剩余的被標(biāo)記成 O 的詞遠(yuǎn)遠(yuǎn)比要大。

因此，我們提出了選擇性對(duì)抗學(xué)習(xí)（SAL）來(lái)對(duì)齊句子中的重要的評(píng)價(jià)對(duì)象詞。具體的，我們對(duì)于句子中的每個(gè)詞采用的一個(gè)領(lǐng)域判斷器來(lái)判別該詞所在的句子來(lái)自哪一個(gè)領(lǐng)域（源領(lǐng)域或者目標(biāo)領(lǐng)域），并利用一個(gè)梯度反轉(zhuǎn)層?[7]?來(lái)對(duì)每一個(gè)詞的關(guān)系向量進(jìn)行領(lǐng)域的對(duì)抗學(xué)習(xí)，從而迷惑領(lǐng)域判斷器來(lái)達(dá)到學(xué)習(xí)細(xì)粒度（詞級(jí)別）的領(lǐng)域共享特征表達(dá)。

同時(shí)，我們利用 DMI 模塊中評(píng)價(jià)對(duì)象的注意力權(quán)重分布來(lái)作為每個(gè)詞的領(lǐng)域自適應(yīng)的權(quán)重，從而實(shí)現(xiàn)選擇性對(duì)抗學(xué)習(xí)。我們將兩個(gè)用于遷移學(xué)習(xí)的模塊放置于兩層 LSTM 的中間，這是因?yàn)榈讓拥挠糜陬A(yù)測(cè)評(píng)價(jià)對(duì)象邊界的任務(wù)相比于高層用于預(yù)測(cè)評(píng)價(jià)對(duì)象邊界+情感極性復(fù)雜任務(wù)更容易進(jìn)行遷移?[8] [9]。

主要結(jié)果

我們?cè)?4 個(gè)基準(zhǔn)數(shù)據(jù)集 Laptop (L)?[10], Restaurant (R)?[10], Device (D)?[10]?和 Service (S)?[11]?上進(jìn)行了實(shí)驗(yàn)。其中 Laptop，Restaurant 來(lái)自于 SemEvalABSA challenge。我們?cè)诖松厦鏄?gòu)建 10 個(gè)類(lèi)似于 D_s->D_t 遷移的任務(wù)，其中由于 D 與 L 領(lǐng)域非常的相似，我們不使用 L->D 和 D->L。

由于我們是第一個(gè)在 E2E-ABSA 問(wèn)題下進(jìn)行遷移學(xué)習(xí)的探索，因?yàn)槲覀儾坏貌粚⒅坝糜诳珙I(lǐng)域評(píng)價(jià)對(duì)象的抽取的 SOTA 方法（TCRF，Hier-Joint），以及跨領(lǐng)域評(píng)價(jià)對(duì)象與觀(guān)點(diǎn)詞抽取的 SOTA 方法（RAP, RNSCN）應(yīng)用到我們?nèi)蝿?wù)上來(lái)。

這些方法高度依賴(lài)先驗(yàn)知識(shí)（手工設(shè)計(jì)的規(guī)則）或外部語(yǔ)言資源（依存關(guān)系語(yǔ)法分析）來(lái)挖掘共享的評(píng)價(jià)對(duì)象與觀(guān)點(diǎn)詞的句法模式進(jìn)行遷移。與此不同，我們的方法通過(guò)自動(dòng)的挖掘它們間隱藏的關(guān)系，并且利用選擇性對(duì)抗學(xué)習(xí)得到更好的領(lǐng)域間共享的關(guān)系特征表達(dá)，從而取得非常大的性能提升。

為了更加具有說(shuō)服力，我們將兩種深度學(xué)習(xí)的方法 Hier-Joint 與 RNSCN 擴(kuò)展成了相同的堆疊式 base 模型 Hier-Joint+，RNSCN+。可以發(fā)現(xiàn)，我們的模型仍然顯著的超越了擴(kuò)展模型。

為了驗(yàn)證各個(gè)模塊的作用，我們進(jìn)行了大量的消融實(shí)驗(yàn)，主要分為以下：

1.?有 DMI v.s. 無(wú) DM：結(jié)果可見(jiàn) Base Model (SO) 與 Base Model+DMI 的差別；

2. 有 SAL v.s. 無(wú) SAL：結(jié)果可見(jiàn) Base Model+DMI 與 AD-SAL 的差別；

3. 有選擇性 v.s. 無(wú)選擇性：結(jié)果可見(jiàn) AD-AL 與 AD-SAL 的差別；

4. 底層任務(wù)遷移 v.s. 高層任務(wù)遷移：結(jié)果可見(jiàn) ADS-SAL 與 AD-SAL 的差別。

我們可以得出以下結(jié)論：

1. DMI 自動(dòng)的捕獲評(píng)價(jià)對(duì)象與觀(guān)點(diǎn)詞來(lái)作為領(lǐng)域間可以遷移的知識(shí)，有效的充當(dāng)了領(lǐng)域間的橋梁；

2. SAL 通過(guò)選擇性對(duì)抗學(xué)習(xí)，使得領(lǐng)域自適應(yīng)的方法（對(duì)抗學(xué)習(xí)）能夠在序列預(yù)測(cè)任務(wù)上有了非常顯著的提升，這給其它序列預(yù)測(cè)任務(wù)上進(jìn)行遷移帶來(lái)很好的啟發(fā)性；

3. 底層簡(jiǎn)單任務(wù)（特征）比高層復(fù)雜任務(wù)（特征）更容易遷移。

本小節(jié)參考文獻(xiàn)

[1]?John Blitzer, Mark Dredze, and Fernando Pereira. 2007.Biographies, bollywood, boom-boxes and blenders: Domain adaptation for sentiment classification. In ACL, pages 440–447.

[2]?Xin Li, Lidong Bing, Piji Li, and Wai Lam. 2019a. A unified model for opinion target extraction and target sentiment prediction. In AAAI,pages 6714–6721.

[3]?Niklas Jakob and Iryna Gurevych. 2010. Extracting opinion targets in a single-and cross-domain setting with conditional random fields. In EMNLP, pages 1035–1045.

[4]?Ying Ding, Jianfei Yu, and Jing Jiang. 2017. Recurrent neural networks with auxiliary labels for cross domain opinion target extraction. In AAAI, pages 3436–3442.

[5]?Fangtao Li, Sinno Jialin Pan, Ou Jin, Qiang Yang, and XiaoyanZhu. 2012. Cross-domain co-extraction of sentiment and topic lexicons. In ACL, pages 410– 419.

[6]?Wenya Wang and Sinno Jialin Pan. 2018. Recursive neural structural correspondence network for cross domain aspect and opinion co-extraction. In ACL, pages 2171–2181.

[7]?Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle, Franc ?ois Laviolette, Mario Marchand, and Victor Lempitsky.2016. Domain-adversarial training of neural networks. JMLR, pages 2096–2030.

[8]?Jason Yosinski, Jeff Clune, Yoshua Bengio, and HodLipson. 2014. How transferable are features in deep neural networks? In NIPS, pages 3320–3328.

[9]?Lili Mou, Zhao Meng, Rui Yan, Ge Li, Yan Xu, LuZhang, and Zhi Jin. 2016. How transferable are neural networks in NLP applications? In EMNLP, pages 479–489.

[10]?Minqing Hu and Bing Liu. 2004. Mining and summarizing customer reviews. In KDD, pages 168–177.

[11]?Cigdem Toprak, Niklas Jakob, and IrynaGurevych. 2010. Sentence and expression level annotation of opinions in user-generated discourse. In ACL, pages 575–584.

?

Aspect Sentiment Triplet Extraction (ASTE) 任務(wù)

本小節(jié)工作來(lái)自論文：

Knowing What, How and Why: A Near Complete Solution for Aspect-based Sentiment Analysis, In AAAI 2020.?

數(shù)據(jù)鏈接：https://github.com/xuuuluuu/SemEval-Triplet-data

?

問(wèn)題定義

如前述，opinion term 和其描述的 aspect 以及 sentiment 高度相關(guān)。如果在抽取出 aspect 及預(yù)測(cè)出sentiment 同時(shí)，能給出表明該 sentiment 的 opinion term，將會(huì)使結(jié)果更加完整：aspect 給出了帶有情感的評(píng)論目標(biāo)，sentiment 給出了對(duì)目標(biāo)的情感極性，opinion term 給出了情感的原因，這三者依次回答了What（對(duì)于什么），How（情感怎么樣）以及 Why（為什么是這個(gè)情感）三個(gè)問(wèn)題，對(duì)于評(píng)論目標(biāo)構(gòu)成更全面的分析。

正如開(kāi)篇所講述的那個(gè)例子，“Waiters are very friendly and the pasta is simply average.”，提到了兩個(gè)評(píng)論目標(biāo)：“waiter”和“pasta”。在理解目標(biāo)的情感極性之上，知道導(dǎo)致情感的原因，既“friendly”和“average”，在現(xiàn)實(shí)場(chǎng)景中更具有實(shí)用性和指導(dǎo)性。

本工作中第一次定義了 Aspect Sentiment Triplet Extraction (ASTE) 任務(wù)。這個(gè)Triplet Extraction（三元組抽取）任務(wù)旨在抽取評(píng)論中出現(xiàn)的所有 aspect，對(duì)應(yīng)的 sentiment 以及對(duì)應(yīng)的 opinion term，并完成三者的匹配工作，形成（aspect, sentiment, opinion term）的三元組，如上例中的（waiter, Positive, friendly）和（pasta, Negative, average）。

相關(guān)方法的局限

正如開(kāi)篇關(guān)于評(píng)論目標(biāo)情感分析任務(wù)的總覽圖所示，本工作之前尚未有研究 Aspect Sentiment Triplet Extraction (ASTE) 任務(wù)的的工作。

之前的工作最多研究了兩個(gè)原子任務(wù)的結(jié)合：例如 aspect term extraction 和 sentiment classification 的結(jié)合?[1] [2]，aspect term 和 opinion term 的聯(lián)合抽取?[3] [4]，aspect category 和 sentiment classification 的結(jié)合?[5]。[6]?嘗試針對(duì)已知 aspect 進(jìn)行 opinion term 抽取，[7]?的模塊化系統(tǒng)也僅進(jìn)行 aspect term extraction 和 sentiment classification，未提取 opinion term。

?

我們的模型

我們的設(shè)計(jì)采用了二階段模型，如下模型圖所示。?第一階段模型（stage one）主要分為兩個(gè)部分：1）預(yù)測(cè)所有評(píng)論目標(biāo)詞以及目標(biāo)詞的情感極性；2）預(yù)測(cè)所有可能描述目標(biāo)詞的情感詞。

目標(biāo)詞以及帶有其情感極性的標(biāo)簽主要由第一階段模型的左側(cè)結(jié)構(gòu)標(biāo)注得出。句子向量通過(guò)第一層 Bi-LSTM 會(huì)進(jìn)行一次序列預(yù)測(cè)來(lái)確定評(píng)論目標(biāo)的范圍，然后加以模型右側(cè)圖卷積網(wǎng)絡(luò)（GCN）返回的情感詞信息輔助輸入第二層 Bi-LSTM 進(jìn)行二次序列預(yù)測(cè)，由此獲得帶有情感極性的標(biāo)簽。

描述目標(biāo)詞的情感詞由模型第一階段的右側(cè)結(jié)構(gòu)預(yù)測(cè)。具體地，句子向量首先通過(guò)兩層圖卷積網(wǎng)絡(luò)加以模型左側(cè)結(jié)構(gòu)輸出的主題詞范圍來(lái)確定相關(guān)的情感詞。然后將圖卷積網(wǎng)絡(luò)的隱狀態(tài)輸入 Bi-LSTM 層來(lái)進(jìn)行情感詞標(biāo)簽的預(yù)測(cè)。

第一階段模型是基于前述 E2E-ABSA 工作的改進(jìn)。第二階段模型（stage two）對(duì)第一階段模型左側(cè)輸出的帶情感的目標(biāo)詞和右側(cè)輸出的情感詞進(jìn)行配對(duì)。首先我們枚舉可能出現(xiàn)的配對(duì)，加之文本信息以及目標(biāo)詞和情感詞之間的距離信息通過(guò)分類(lèi)器來(lái)確定哪些是有效的組合。

主要結(jié)果

我們?cè)诂F(xiàn)有 SemEval 14 Laptop 和 14，15，16 Restaurant 數(shù)據(jù)集上進(jìn)行了補(bǔ)充標(biāo)注。我們將同一個(gè)句子具有不同 aspects 和 opinons 標(biāo)注的情形合并在一起，每個(gè)合成的數(shù)據(jù)包含原始句子，aspect 標(biāo)注和 opinion 標(biāo)注，并將它們配對(duì)，例如：

The best thing about this laptop is the price along with some of the newer features.

The=O best=O thing=O about=O this=Olaptop=O is=O the=O price=T-POS along=O with=O some=O of=O the=O newer=Ofeatures=TT-POS .=O

The=O best=S thing=O about=O this=Olaptop=O is=O the=O price=O along=O with=O some=O of=O the=O newer=SSfeatures=O .=O

上例中包含兩個(gè) aspect-opinion 對(duì)：‘price’—‘best’和‘feature’ —‘newer’。我們同時(shí)也清除了少量的 aspect 標(biāo)注和 opinion 標(biāo)注有重合的數(shù)據(jù)。最終數(shù)據(jù)集統(tǒng)計(jì)如下：

實(shí)驗(yàn)上，我們對(duì)模型的兩階段分別進(jìn)行了驗(yàn)證。我們首先針對(duì)一階段 unified aspect extraction 和 sentiment classification 進(jìn)行了驗(yàn)證，結(jié)果如下表。

我們的模型及變種全部?jī)?yōu)于現(xiàn)有方法，僅在 14lap 上稍遜于我們改進(jìn)的 Li-unified?[1]?方法。另外我們發(fā)現(xiàn) RINANTE 和 CMLA 的實(shí)驗(yàn)結(jié)果較原文均大幅下滑，為公平起見(jiàn)，我們?cè)鲈O(shè)了最后兩行的對(duì)比實(shí)驗(yàn)，參考以原文同樣的實(shí)驗(yàn)設(shè)置。結(jié)果顯示效果顯著上升，一方面證明了我們復(fù)現(xiàn)的可靠性，另一方面佐證了三元組抽取任務(wù)的高難度。

?

接下來(lái)，我們針對(duì)一階段 opinion term extraction 進(jìn)行了驗(yàn)證，結(jié)果如下表。我們的模型穩(wěn)定地優(yōu)于現(xiàn)有方法及其改進(jìn)。證明了我們利用 aspect extraction 和? sentiment classification 來(lái)輔助 opinion term extraction 的設(shè)計(jì)的有效性。

?

最后我們進(jìn)行了二階段的驗(yàn)證實(shí)驗(yàn)，結(jié)果如下圖。其中 pair 代表 aspect-opinion 的配對(duì)結(jié)果，triplet 代表 aspect-opinion-sentiment 的三元組結(jié)果。在 triplet 結(jié)果上，我們的模型一致性的優(yōu)于其他現(xiàn)有方法。在 pair 的結(jié)果上，整體上對(duì)現(xiàn)有方法具有明顯優(yōu)勢(shì)。

以上方法的缺點(diǎn)在于第一和第二階段是割裂開(kāi)的，會(huì)導(dǎo)致 error propagation 的問(wèn)題，一個(gè)很自然的改進(jìn)思路便是如何將兩階段模型改進(jìn)為 End-to-End 的方式。這是很值得嘗試的一個(gè)研究點(diǎn)。

?

本小節(jié)參考文獻(xiàn)

[1] Xin Li, Lidong Bing, Piji Li, and Wai Lam. 2019a. A unified model for opinion target extraction and target sentiment prediction. In AAAI, pages 6714–6721.

[2] He, R.; Lee, W. S.; Ng, H. T.; and Dahlmeier, D. 2019. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In ACL.

[3] Wang, W.; Pan, S. J.; Dahlmeier, D.; and Xiao, X. 2017. Coupled multi-layer attentions for co-extraction of aspect and opinion terms. In AAAI,3316–3322.

[4] Dai, H., and Song, Y. 2019. Neural aspect and opinion term extraction with mined rules as weak supervision. In ACL, 5268–5277.

[5] Hu, M.; Zhao, S.; Zhang, L.; Cai, K.; Su, Z.; Cheng, R.; and Shen, X. 2018. Can: Constrained attention networks for multi-aspect sentiment analysis. arXiv preprint arXiv:1812.10735.

[6] Fan, Z.; Wu, Z.; Dai, X.; Huang, S.; and Chen, J. 2019.Target-oriented opinion words extraction with target-fused neural sequence labeling. In NAACL-HLT, 2509–2518.

[7] Zhang, X., and Goldwasser, D. 2019. Sentiment tagging with partial labels using modular architectures. arXiv preprint arXiv:1906.00534.

??

總結(jié)

情感分析作為自然語(yǔ)言理解里最重要也是最有挑戰(zhàn)的主要任務(wù)之一，有很大的研究空間和廣闊的應(yīng)用價(jià)值。細(xì)粒度的情感分析（i.e. ABSA）的相關(guān)研究已歷經(jīng)多年，有大量的相關(guān)論文發(fā)表。

目前，這個(gè)方向的研究有兩個(gè)明顯的局限。一是已有數(shù)據(jù)小、標(biāo)注不完備，導(dǎo)致更實(shí)用的任務(wù)無(wú)法進(jìn)行。例如 ASTE 任務(wù)，其可行性依賴(lài)于對(duì)已有數(shù)據(jù)進(jìn)行額外打標(biāo)。二是跨語(yǔ)言、跨領(lǐng)域遷移能力的研究不足，導(dǎo)致研究工作的實(shí)際可用性差。

雖然目前基于 BERT 等大規(guī)模深度語(yǔ)言模型的嘗試，顯示出了不錯(cuò)的潛力，但深度語(yǔ)言模型本身的部署還沒(méi)有很好解決。另外，情感分析離不開(kāi)常識(shí)和場(chǎng)景，目前主流 NN 方法所欠缺在這些方面的建模能力。?

本文由阿里巴巴達(dá)摩院的邴立東及其實(shí)習(xí)生李昕、合作者李正、同事彭海韻、聯(lián)培博士生許璐等共同整理而成。由 PaperWeekly 編輯進(jìn)行了校對(duì)和格式調(diào)整。

點(diǎn)擊以下標(biāo)題查看更多期內(nèi)容：?

• AAAI 2020?| 語(yǔ)義感知BERT（SemBERT）
  

• 從Word2Vec到BERT
  

• 任務(wù)導(dǎo)向型對(duì)話(huà)系統(tǒng)：對(duì)話(huà)管理模型研究最新進(jìn)展
  

• 后BERT時(shí)代的那些NLP預(yù)訓(xùn)練模型
  

• BERT的成功是否依賴(lài)于虛假相關(guān)的統(tǒng)計(jì)線(xiàn)索？
  

• 從三大頂會(huì)論文看百變Self-Attention

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 獲取最新論文推薦

總結(jié)

以上是生活随笔為你收集整理的细粒度情感分析任务（ABSA）的最新进展的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。