?PaperWeekly 原創(chuàng) ·?作者｜張琨

學(xué)校｜中國科學(xué)技術(shù)大學(xué)博士生

研究方向｜自然語言處理

Motivation

近兩年，大家紛紛在提我們正在從感知智能向認知智能邁進，模型需要具備認知理解推理能力。研究人員也從這方面進行了深入研究。一個非常直觀的方法就是借鑒人的認知行為方式，使用神經(jīng)網(wǎng)絡(luò)進行模擬，從而提升模型的效果，之前就有研究人員在Drr-net: Dynamic re-read network for sentence semantic matching [1]?文章中實現(xiàn)了人類的重讀機制。

論文標題：

Bi-directional Cognitive Thinking Network for Machine Reading Comprehension

論文作者：

Wei Peng / Yue Hu / Luxi Xing / Yuqiang Xie / Jing Yu / Yajing Sun / Xiangpeng Wei

論文鏈接：

https://arxiv.org/abs/2010.10286

在本文中，作者同樣是基于這個想法，借鑒人類的認知行為習(xí)慣進行機器閱讀理解。因此本文需要解決的問題就是：借鑒哪些行為習(xí)慣，如何借鑒，如何與機器閱讀理解模型進行融合。

Model

了解了本文的基本想法，那么在介紹本文提出的方法之前，首先介紹本文要借鑒的兩個認知行為習(xí)慣：

2.1 認知行為習(xí)慣

1. inertial thinking，慣性思維：一種方便快捷的思維方法，根據(jù)之前的經(jīng)驗和想法去思考和解決問題；

2. reverse thinking，逆向思維：和慣性思維相反，利用和常規(guī)思路相反的形式去思考和解決問題。

將這兩種思想應(yīng)用到閱讀理解任務(wù)中，以上圖為例：如果是慣性思維的話，那就是根據(jù)問題選出答案，如果是逆向思維的話，就是根據(jù)答案和段落學(xué)習(xí)到需要關(guān)注的點是兩個方面，包括 can pregnant women eat loquat 和what is the benefit to eat loquat for pregnant women 。

通過這兩部分的重點關(guān)注，就能夠更全面的理解問題和段落，從而實現(xiàn)更為準確的回答。基于這個想法，作者設(shè)計了自己的模型。

2.2 Bi-directional Cognitive Thinking Network

下圖是整個模型的框架圖，其中最主要的是這兩部分 Backward Encoder 和 Forward Encoder。模型的訓(xùn)練過程也主要包含兩階段，Reverse Thinking Training ：該階段主要通過答案和段落推理問題是什么；Retraining with Inertial Thinking：在已有的逆向思維的結(jié)果上，通過重新分析給定段落和問題實現(xiàn)最終的答案的生成。

1. Reverse Thinking Training

該部分的主要過程可以由下圖實現(xiàn)，作者通過一系列復(fù)雜的操作最終模擬了人的逆向思維。

首先是輸入，將段落和答案拼接到一起得到作為一個輸入，同時為了根據(jù)答案確定段落中的相關(guān)信息，將答案獨自編碼，得到語義表示向量，該過程可以表示為如下形式：

之后，模型要模擬人的逆向思維過程，用于挖掘 U 和 V 之間（答案和段落）的關(guān)聯(lián)，因此這里使用了一個堆疊的模塊，其中 ? ?都是隨機初始化，在第 j 步，整個過程可以表示為，首先?? 和 U 進行拼接，然后經(jīng)過一個非線性變化，接下來通過 attention 計算得到答案開始的概率分布?，然后利用? ?去得到更新之后的起始推理向量?，整個過程可以表示為如下形式：

得到起始推理向量表示之后，類似的方法計算得到終止推理表示向量：

與此同時，還會使用得到的起始與終止推理表示向量去更新段落的表示，即模型圖中的第 5 步：

除此之外，作者還加了門控結(jié)構(gòu)用于控制逆向思維在整個模型中的強度：

其中的權(quán)重來自于 BERT 的 multi-head attention 權(quán)重。接下來通過池化操作就得到了模擬逆向思維的輸出：

最后，通過融合操作和解碼就實現(xiàn)了答案的生成過程：

整個過程都是一個逆向思維的過程，同時為了模擬正向思維（慣性思維）的過程，作者使用了類似的方法對整個模型進行了重新的訓(xùn)練，只是在一些細節(jié)處理上進行了調(diào)整。為了方便閱讀，這里不再進行展示，具體細節(jié)可以參考原論文。

Experiments

為了驗證整個模型的效果，作者在一個中文的數(shù)據(jù)集 DuReader 上進行了模型的驗證，這部分還是有一些不足的，只進行了一個數(shù)據(jù)的驗證，如果能夠進行多個數(shù)據(jù)集的驗證就能夠更加有效的證明模型的效果了。相關(guān)的實驗結(jié)果如下圖。

相關(guān)的實驗內(nèi)容還是都做了的，也證明了模型的效果。

Conclusion

本文從模擬人類認知行為的角度入手，通過設(shè)計神經(jīng)網(wǎng)絡(luò)模擬逆向思維和慣性思維實現(xiàn)了機器閱讀理解模型效果的提升，理論切入和介紹還是很吸引人的，只是模型設(shè)計過于復(fù)雜，很多地方?jīng)]有詳盡的解釋，同時實驗相對較少，如果能夠進行更充分的實驗，就更好了。

參考文獻

[1]?https://ojs.aaai.org/index.php/AAAI/article/view/4734/4612

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的COLING 2020 | 面向机器阅读理解的双向认知思维网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。