以深度學習為代表的智能感知技術已經取得了突破性進展，并已在各行各業產生了巨大的價值。目前，人工智能的研究領域已經逐漸從感知智能向認知智能領域過渡，其中，深度學習無法解決的一個主要問題是常識推理問題。常識知識是人類智能的重要體現，在計算機中通常以符號邏輯的知識表示形式存儲和處理。最近，常識推理在多個研究領域受到了廣泛關注，澤宇調研了最新發表的關于常識推理和引入常識知識的研究論文并和大家一起分享學習。

?

1. 常識問答

常識推理是指評估環境狀況并采取相應行動的能力。識別環境的隱式原因和結果的能力可以使機器執行常識性推理。常識推理或常識問答是常識知識最直接的應用，也是研究工作最集中的領域，下面來介紹幾篇這個領域的研究。

I Know What You Asked: Graph Path Learning using AMR for Commonsense Reasoning

Authors: Jungwoo Lim, Dongsuk Oh, Yoonna Jang, Kisu Yang, Heuiseok Lim

論文地址：https://arxiv.org/pdf/2011.00766

內容簡介：這篇論文是最新發表在COLINE 2020上關于常識推理的研究（接下來還有兩篇也是發表在COLING 2020）。這篇論文的題目很有意思：“我知道你問的是什么”。從題目就可以看出來這項工作主要面向理解常識問答中的問題。常識問答任務不像傳統的問答（QA）任務可以直接從知識庫或表中直接找到問題對應的答案，而是需要利用預定義知識執行常識推理來預測正確答案。以前的大多數常識問答工作主要是提高分布式表示學習的性能，而沒有考慮根據問題的語義表示來預測答案。為了分析問題的語義解釋，這篇論文提出了AMR-ConceptNet-Pruned（ACP）圖。ACP圖是從包含輸入問題生成的抽象含義表示（AMR）圖和外部常識知識圖譜ConceptNet（CN）的完整集成圖中修剪而來的。然后，利用ACP圖來解釋推理路徑并預測常識問答任務的正確答案。一個常識問答的例子如下圖(a)所示，問題語義表示圖如下圖(b)所示，問題相關的常識知識圖譜圖譜ConceptNet中的子圖如下圖(c)所示。

?

Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources

Authors: Qianglong Chen, Feng Ji, Haiqing Chen, Yin Zhang

論文地址：https://arxiv.org/pdf/2011.02705

內容簡介：這篇論文是浙大和阿里達摩院聯合發表在COLING 2020上的工作，從題目中可以看出重點在于如何從多個知識源中檢索答案。本文提出了一種通過整合多個知識源（ConceptNet，Wikipedia和Cambridge Dictionary）的問答方法。具體地，這項研究的一個核心模塊是一個新穎的基于圖結構的迭代知識檢索模塊，該模塊從多個知識源中迭代檢索與給定問題有關的概念和實體，具體方法如下圖所示。然后，使用預訓練語言模型RoBERTa-large對問題進行編碼，并提出一種答案選擇感知注意力機制，以融合先前模塊的所有隱式表示。最后，針對特定問答任務采用線性分類器來預測答案。

?

COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense Question Answering

Authors: Farhad Moghimifar, Lizhen Qu, Yue Zhuo, Mahsa Baktashmotlagh, Gholamreza Haffari

論文地址：https://arxiv.org/pdf/2011.00777

內容簡介：這篇論文同樣是發表在COLING 2020上的研究，特點是考慮了零樣本學習情況下的常識問答任務。這項研究的背景是針對社交媒體網絡的動態世界，由于無法識別各種隱式社會關系也就是無法估計出正確的推理路徑，當前常識推理方法缺乏在面對看不見的情況時執行常識推理的能力。本文提出了基于條件SEQ2SEQ的混合模型（COSMO），該模型提供了動態且多樣化的內容生成功能。具體的，使用COSMO生成上下文相關子句，這些子句可動態生成動態知識圖譜，并利用設計的答案分類器模型，以實現零樣本常識推理。特別的，這項工作使用的常識知識庫不同于常見的ConceptNet等三元組表示的常識知識圖譜，而是使用了ATOMIC，這是一個包含30萬個事件的簡短文字描述和87.7萬個事件之間的if-then關系，因此這個常識庫的常識知識是以子句的形式表示的。包含動態子句生成和分類器模塊的模型如下圖所示。

?

Differnetiable Open-Ended Commonsense Reasoning

Authors: Bill Yuchen Lin, Haitian Sun, Bhuwan Dhingra, Manzil Zaheer, Xiang Ren, William W. Cohen

論文地址：https://arxiv.org/pdf/2010.14439

內容簡介：這篇論文是南加州的Yuchen Lin和Xiang Ren老師等人的研究，主要研究開放式的常識推理任務。作者考慮到當前的常識推理研究主要集中在開發使用常識知識回答多項選擇題的任務。但是，在沒有提供可能的候選答案供選擇時，這類系統就會無法使用。因此，這篇論文研究了開放式常識推理（OpenCSR），也就是無需任何預先定義的選擇就可以回答常識問題的任務，僅使用自然語言描述的常識事實語料庫作為資源庫。由于許多常識問題需要多跳推理才能預測答案，因此論文提出了一種支持多跳推理的可微模型，稱為DrFact。特別的，DrFact同時使用事實知識之間關聯的神經和符號表示，以在端到端的可區分框架中對事實跟蹤操作進行建模。首先將語料庫中的所有事實句子編碼為向量表示，以形成神經事實索引，以便可以通過最大內積操作來完成快速檢索。同時，使用稀疏的事實的共現矩陣來存儲事實之間的符號鏈接（如果一對事實共享相同的概念，則將它們鏈接在一起）。采用事實跟蹤的多跳推理過程如下圖所示。

?

2. 生成式常識推理

KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense Reasoning

Authors: Ye Liu, Yao Wan, Lifang He, Hao Peng, Philip S. Yu

論文地址：https://arxiv.org/pdf/2009.12677

內容簡介：這篇論文是數據庫權威大佬Philip S. Yu團隊的一項研究，之前我們也專門對他們寫的一篇知識圖譜最新綜述論文進行了解讀，感興趣的小伙伴可以查看文末的往期精選中的鏈接。現在我們介紹的這篇關于常識推理的論文主要研究融合知識圖譜的預訓練語言模型并用于生成式常識推理任務。生成式常識推理旨在使機器能夠生成具有推理能力的句子，這是文本生成的關鍵瓶頸。即使最先進的預訓練語言模型難以完成這一任務，因為這些模型很少考慮在常識概念之間提供豐富關系信息的知識圖譜。為了提高常識推理在文本生成中的能力，這篇論文提出了一種新穎的知識圖譜增強的預訓練語言生成模型KG-BART，該模型通過知識圖譜包含概念的復雜關系，并產生更多符合邏輯邏輯和自然的句子作為輸出。此外，KG-BART可以利用圖注意力來聚合豐富的概念語義信息，從而增強了對未見概念集的模型泛化能力。KG-BART和現有的一些預訓練語言模型在生成常識推理句子的例子如下圖所示。

?

Generating Commonsense Explanation by Extracting Bridge Concepts from Reasoning Paths

Authors: Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Minlie Huang

論文地址：https://arxiv.org/pdf/2009.11753

內容簡介：這篇論文是清華的Minlie Huang老師團隊發表在 AACL-IJCNLP 2020上的研究。常識解釋的生成旨在通過針對常識的陳述語句生成合理的解釋來增強機器的感知能力。這篇論文首先提出了一種兩階段方法，該方法首先從ConceptNet常識知識圖譜中檢索并抽取“橋梁”概念，然后通過集成所提取的概念來生成解釋。為了促進推理過程，利用外部常識知識抽取和修剪多跳路徑來構建子圖，從而在語句和橋梁概念之間建立聯系。接著，基于Transformer生成解釋語句。整個系統流程如下圖所示。

Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph

Authors: Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Xiaoyan Zhu, Minlie Huang

論文地址：https://arxiv.org/pdf/2009.11692

內容簡介：這篇論文同樣是清華Minlie Huang老師團隊發表在EMNLP 2020上的研究，一作還是Haozhe Ji。現有的將常識知識集成到預訓練語言模型中的方法，在遷移關系知識時僅僅利用了單個知識三元組，而忽略了知識圖譜中的豐富語義關聯。作者認為利用知識圖譜的結構和語義信息可促進常識文本生成，因此，這篇論文提出了使用多跳推理流程（GRF）進行文本生成的方法，該方法可以在從外部常識知識圖譜中提取的多關系路徑上啟用帶有動態多跳推理的預訓練模型。使用外部知識圖譜促進常識文本生成的示例如下圖所示。

?

3. 結合符號邏輯的常識推理

Learning Contextualized Knowledge Structures for Commonsense Reasoning

Authors: Jun Yan, Mrigank Raman, Tianyu Zhang, Ryan Rossi, Handong Zhao, Sungchul Kim, Nedim Lipka, Xiang Ren

論文地址：https://arxiv.org/pdf/2010.12873

內容簡介：這篇論文是南加州的Xiang Ren老師團隊和印度理工，清華與Adobe聯合的研究，主要研究了用于常識推理的神經符號模型。最近，神經符號結構通過有效地編碼外部知識圖譜中的關系結構，并在常識推理和問答等任務中獲得了最新技術成果。但是，這些方法依賴于在預處理階段從知識圖譜中檢索到的上下文三元組事實，卻忽略了知識圖譜的不完備性，關系表達的有限性以及與推理無關的事實而引入噪聲等問題。本文提出了一種新的神經符號模型，稱為混合圖網絡（HGN），該模型可聯合生成新的三元組的嵌入表示（用于知識圖譜補全），確定三元組與推理的相關性上下文，并學習用于對關系信息進行編碼的圖模塊參數。模型還能通過過濾對推理過程無用的邊來得到更為緊湊的圖結構（包含提取的邊和新生成的邊）。整個模型的結構如下圖所示。

Social Commonsense Reasoning with Multi-Head Knowledge Attention

Authors: Debjit Paul, Anette Frank

論文地址：https://arxiv.org/pdf/2010.05587

內容簡介：這篇論文是發表在EMNLP 2020上的研究，主要結合半結構化的常識推理規則實現常識推理。在這項工作中，提出了一種新穎的多頭知識注意力機制，該模型通過對半結構化的常識推理規則進行編碼，并學習將其納入基于Transformer的推理單元中。論文中通過兩個推理任務來評估模型的性能：歸納自然語言推理和反事實不變預測。這個工作也是第一個證明了能夠進行反事實推理的模型有助于預測歸納推理任務。

?

Inductive Learning on Commonsense Knowledge Graph Completion

Authors: Bin Wang, Guangtao Wang, Jing Huang, Jiaxuan You, Jure Leskovec, C. -C. Jay Kuo

論文地址：https://arxiv.org/pdf/2009.09263

內容簡介：這篇論文常識知識圖譜是一種特殊類型的知識圖譜，其中實體是由自由格式的文本組成。但是，大多數現有的常識知識圖譜補全的方法都集中在在訓練時具有所有實體的情況。而實際上，常識知識圖譜往往非常稀疏，測試時的一些實體在訓練過程中可能是沒有見過的，并且實體可能與訓練時的知識圖譜斷開連接。這篇論文中提出了一個新的歸納學習模型InductivE，即使在訓練時知識圖譜中不存在某個實體，InductivE也可以通過直接從原始實體屬性或文本來計算實體的嵌入表示，以確保系統歸納學習的能力。InductiveE由文本編碼器，圖編碼器和知識圖譜補全解碼器組成。具體而言，文本編碼器首先基于預訓練語言模型和詞嵌入來提取每個實體的文本表示。圖編碼器是門控關系圖卷積神經網絡，可從知識圖譜的實體鄰域中學習更多信息來表示實體。歸納學習方法采用Conv-TransE作為常識知識圖譜補全的解碼器。整個模型的結構圖如下圖所示。

?

接下來我們還會繼續分享常識知識在其它領域包括對話系統和圖像等領域中的應用，歡迎關注我們的文章。

?

往期精選：

速覽EMNLP 2020上錄取的知識圖譜相關論文

介紹一些知識圖譜的實際應用類項目

對知識圖譜的告白：斯坦福大學CS520課程介紹

知識圖譜最新權威綜述論文解讀：知識表示學習部分

手把手教你搭建一個中式菜譜知識圖譜可視化系統

?

如果對文章感興趣歡迎關注知乎專欄“人工智能遇上知識圖譜“，也歡迎關注同名微信公眾號“人工智能遇上知識圖譜”，讓我們一起學習并交流討論人工智能與知識圖譜技術。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

總結

以上是生活随笔為你收集整理的常识推理相关最新研究进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。