上期，我們一起學(xué)習(xí)了常識(shí)推理的最新研究進(jìn)展。這次，我們一起來看看常識(shí)知識(shí)在AI不同的領(lǐng)域都有哪些應(yīng)用，澤宇找到幾篇最新或有代表性的研究和大家分享學(xué)習(xí)。

?

Commonsense Knowledge Aware Conversation Generation with Graph Attention

Authors: Hao Zhou, Tom Young, Minlie Huang, Haizhou Zhao, Jingfang Xu, Xiaoyan Zhu

論文地址：https://www.ijcai.org/Proceedings/2018/0643.pdf

內(nèi)容簡(jiǎn)介：說到常識(shí)知識(shí)的利用，必須要提的就是這篇取得了IJCAI 2018杰出論文獎(jiǎng)的論文，這篇論文的一作是清華的周昊大神，co-author包括黃民烈老師和朱小燕老師。這篇論文提出了一種新的開放域?qū)υ挼纳赡Ｐ?#xff0c;在對(duì)話生成中首次使用了大規(guī)模的常識(shí)知識(shí)庫(kù)。通過常識(shí)知識(shí)可以使模型能夠更好地理解對(duì)話，從而給出更合理和符合常識(shí)的回復(fù)。同時(shí)，之前的研究都是將每個(gè)知識(shí)三元組獨(dú)立使用，這篇論文中設(shè)計(jì)了靜態(tài)和動(dòng)態(tài)圖注意力機(jī)制，把知識(shí)三元組看作一個(gè)圖，利用實(shí)體的領(lǐng)域信息可以更好地理解當(dāng)天實(shí)體的語義信息。

?

What is More Likely to Happen Next? Video-and-Language Future Event Prediction

Authors: Jie Lei, Licheng Yu, Tamara L. Berg, Mohit Bansal

論文地址：https://arxiv.org/pdf/2010.07999

內(nèi)容簡(jiǎn)介：這篇論文是發(fā)表在EMNLP 2020上關(guān)于視頻-語言預(yù)測(cè)的一項(xiàng)研究，給定具有一致對(duì)話的視頻，人們通常可以推斷出下一步可能發(fā)生的情況。做出這樣的預(yù)測(cè)不僅需要理解視頻和對(duì)話背后的豐富動(dòng)態(tài)，還需要大量的常識(shí)知識(shí)。作者通過收集了一個(gè)新的數(shù)據(jù)集，名為“視頻和語言事件預(yù)測(cè)（VLEP）”，其中包含來自10,234個(gè)不同的電視節(jié)目和YouTube Lifestyle Vlog視頻剪輯的28,726個(gè)未來事件預(yù)測(cè)示例（及其依據(jù)）。實(shí)驗(yàn)表明，每種類型的信息都可用于完成這項(xiàng)具有挑戰(zhàn)性的任務(wù)，并且與VLEP上的出色人工表現(xiàn)相比，這篇論文中提出的模型提供了一個(gè)很好的起點(diǎn)，并為將來的工作留出了很大的空間。

iPerceive: Applying Common-Sense Reasoning to Multi-Modal Dense Video Captioning and Video Question Answering

Authors: Aman Chadha, Gurneet Arora, Navpreet Kaloty

論文地址：https://arxiv.org/pdf/2011.07735

內(nèi)容簡(jiǎn)介：這篇論文是發(fā)表在WACV 2021上的關(guān)于視頻描述和視頻問答的研究。由于視覺理解中的大多數(shù)現(xiàn)有技術(shù)僅依賴于分析“有什么”（例如事件識(shí)別）和“在何處”（例如事件定位），這在某些情況下無法描述事件之間的正確上下文關(guān)系。人類和機(jī)器目前最大的不同在于人類本能地尋找任何關(guān)聯(lián)背后的因果關(guān)系，也就是需要用到常識(shí)知識(shí)。為此，這篇論文中提出了iPerceive框架，其能夠理解通過使用上下文線索建立常識(shí)知識(shí)庫(kù)來推斷視頻中對(duì)象之間的因果關(guān)系，從而理解視頻中的事件之間“為什么”。

?

Beyond Language: Learning Commonsense from Images for Reasoning

Authors: Wanqing Cui, Yanyan Lan, Liang Pang, Jiafeng Guo, Xueqi Cheng

論文地址：https://arxiv.org/pdf/2010.05001

內(nèi)容簡(jiǎn)介：這篇論文發(fā)表在EMNLP 2020 Findings，針對(duì)非 NLP 中的常識(shí)推理問題，這篇論文提出了一種從圖像中學(xué)習(xí)常識(shí)的新穎的方法。這項(xiàng)研究的動(dòng)機(jī)來自這樣一個(gè)事實(shí)：一幅圖像具有大約一千個(gè)單詞的價(jià)值，可以利用更豐富的場(chǎng)景信息來幫助提取常識(shí)知識(shí)。這篇論文中提出的模型為L(zhǎng)oire，其包括兩個(gè)階段，在第一階段，基于文本表示模型ViBERT，采用雙模態(tài)的 sequence-to-sequence方法來執(zhí)行場(chǎng)景圖生成任務(wù)。這樣，所需的視覺場(chǎng)景知識(shí)例如空間關(guān)系通過監(jiān)督學(xué)習(xí)過程，使用諸如COCO之類的雙模態(tài)數(shù)據(jù)，在ViBERT中進(jìn)行編碼。然后，將ViBERT與預(yù)訓(xùn)練語言模型連接起來，以執(zhí)行下游的常識(shí)推理任務(wù)。

?

Advanced Semantics for Commonsense Knowledge Extraction

Authors: Tuan-Phong Nguyen, Simon Razniewski, Gerhard Weikum

論文地址：https://arxiv.org/pdf/2011.00905.pdf

內(nèi)容簡(jiǎn)介：這篇論文是發(fā)表在Arxiv上最新的關(guān)于常識(shí)知識(shí)抽取的研究。有關(guān)概念及其屬性的常識(shí)知識(shí)（CSK）對(duì)于AI的一些應(yīng)用（例如魯棒的聊天機(jī)器人）很有用。已有的一些常識(shí)知識(shí)庫(kù)例如ConceptNet，TupleKB等的表達(dá)受限于主謂賓（SPO）三元組的形式。這篇論文提出了一種稱為Ascent的方法，該方法可自動(dòng)構(gòu)建CSK斷言的大規(guī)模知識(shí)庫(kù)，與以前的工作相比，具有更強(qiáng)的表達(dá)能力，更好的準(zhǔn)確性和可使用性。通過取得具有subgroups和aspects的組合概念，以及通過語義facet完善聲明，Ascent超越了三元組。Ascent使用語言模型將開放信息提取與數(shù)據(jù)清洗相結(jié)合。內(nèi)部評(píng)估顯示了Ascent KB出色的規(guī)模和質(zhì)量，而對(duì)質(zhì)量檢查支持任務(wù)的外部評(píng)估進(jìn)一步說明了了Ascent的優(yōu)勢(shì)。

?

COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs

Authors: Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, Yejin Choi

論文地址：https://arxiv.org/pdf/2010.05953

內(nèi)容簡(jiǎn)介：這篇論文是最新提出的一個(gè)評(píng)估常識(shí)知識(shí)圖譜的研究。由于全面涵蓋一般常識(shí)知識(shí)所需的規(guī)模巨大，手動(dòng)構(gòu)建的常識(shí)知識(shí)圖譜難以達(dá)到NLP遇到的所有情況所必需的覆蓋范圍。因此，這篇論文提出了ATOMIC2020，這是一種新穎的常識(shí)知識(shí)圖譜，其中包含元組的關(guān)聯(lián)，這些元組是專門選擇的，對(duì)于預(yù)訓(xùn)練語言模型具有一定的挑戰(zhàn)性。實(shí)驗(yàn)結(jié)果表明，ATOMIC2020包含跨多個(gè)新型關(guān)系的高精度知識(shí)元組，而現(xiàn)有的常識(shí)知識(shí)圖譜或語言模型無法對(duì)這些關(guān)系進(jìn)行表達(dá)。

?

Incorporating Structured Commonsense Knowledge in Story Completion

Authors: Jiaao Chen, Jianshu Chen, Zhou Yu

論文地址：https://ojs.aaai.org/index.php/AAAI/article/view/5183/5055

內(nèi)容簡(jiǎn)介：這篇論文是發(fā)表在AAAI 2019上的關(guān)于利用常識(shí)知識(shí)來完成故事結(jié)局預(yù)測(cè)的研究。故事結(jié)局預(yù)測(cè)不僅需要上下文中的明確線索，還需要隱性知識(shí)（例如常識(shí)）以構(gòu)建合理且一致的故事。但是，大多數(shù)先前的方法并未明確使用背景常識(shí)知識(shí)。這篇論文提出了一個(gè)神經(jīng)故事結(jié)局選擇模型，該模型集成了三種類型的信息：敘事序列，情感演變和常識(shí)知識(shí)。實(shí)驗(yàn)表明，提出的模型在公開數(shù)據(jù)集ROCStory Cloze Task上的表現(xiàn)優(yōu)于最新方法，并且通過添加其他常識(shí)知識(shí)可顯著提高性能。

?

Enhancing Pre-Trained Language Representations with Rich Knowledge for Machine Reading Comprehension

Authors: An Yang,Quan Wang,Jing Liu,Kai Liu,Yajuan Lyu,Hua Wu,Qiaoqiao She,Sujian Li

論文地址：https://www.aclweb.org/anthology/P19-1226.pdf

內(nèi)容簡(jiǎn)介：這篇論文是發(fā)表在ACL 2019上的關(guān)于利用常識(shí)知識(shí)實(shí)現(xiàn)機(jī)器閱讀理解的研究。機(jī)器閱讀理解（MRC）是NLP中一項(xiàng)至關(guān)重要且具有挑戰(zhàn)性的任務(wù)。最近，預(yù)訓(xùn)練語言模型（LM）在MRC中展現(xiàn)了優(yōu)異的效果。這篇論文研究了利用外部常識(shí)知識(shí)庫(kù)WordNet和NELL進(jìn)一步改善MRC的BERT的潛力，提出了KT-NET模型，其采用一種注意力機(jī)制從知識(shí)圖譜中自適應(yīng)地選擇所需的知識(shí)，然后將選定的知識(shí)與BERT融合以實(shí)現(xiàn)上下文和知識(shí)感知的預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，KT-NET在ReCoRD和SQuAD1.1上優(yōu)于baselines。

?

Diverse and Informative Dialogue Generation with Context-Specific Commonsense Knowledge Awareness

Authors: Sixing Wu,Ying Li,Dawei Zhang,Yang Zhou,Zhonghai Wu

論文地址：https://www.aclweb.org/anthology/2020.acl-main.515.pdf

內(nèi)容簡(jiǎn)介：這篇論文是發(fā)表在ACL 2020上關(guān)于利用常識(shí)知識(shí)實(shí)現(xiàn)生成式對(duì)話的研究。生成式對(duì)話系統(tǒng)傾向于產(chǎn)生通用的響應(yīng)，這通常會(huì)導(dǎo)致無聊的對(duì)話。為了解決這個(gè)問題，最近的研究提出從知識(shí)圖譜中檢索和引入知識(shí)事實(shí)，但通常僅基于實(shí)體詞本身來檢索知識(shí)事實(shí)，而不考慮特定的對(duì)話上下文。為此，這篇論文提出了一種新穎的常識(shí)性知識(shí)對(duì)話生成模型ConKADI，將重點(diǎn)放在與上下文高度相關(guān)的知識(shí)事實(shí)上。同時(shí)，為了促進(jìn)知識(shí)在ConKADI中的集成，提出了兩種技術(shù)：上下文知識(shí)融合和靈活模式融合。這篇論文中還收集并建立了一個(gè)符合常識(shí)的大規(guī)模中文數(shù)據(jù)集，以進(jìn)行對(duì)話。

?

Visual Commonsense R-CNN

Authors: Tan Wang, Jianqiang Huang, Hanwang Zhang, Qianru Sun

論文地址：https://arxiv.org/pdf/2002.12204.pdf

內(nèi)容簡(jiǎn)介：這篇論文是發(fā)表在CVPR 2020上關(guān)于視覺常識(shí)任務(wù)的研究。論文中提出了一種新穎的無監(jiān)督特征表示學(xué)習(xí)方法VC R-CNN，其可以基于任何R-CNN框架，僅使用特征級(jí)聯(lián)就可以支持各種高級(jí)任務(wù)。VCR-CNN的關(guān)鍵創(chuàng)新之處在于，學(xué)習(xí)目標(biāo)是基于常識(shí)知識(shí)提供的因果干預(yù)的。大量實(shí)驗(yàn)顯示，在幾乎所有強(qiáng)大的基準(zhǔn)和指標(biāo)上，性能均獲得了驚人的提升。接下來，作者還計(jì)劃研究將VC R-CNN應(yīng)用于其他模式（如視頻和3D點(diǎn)云）等任務(wù)中。

?

往期精選：

常識(shí)推理相關(guān)最新研究進(jìn)展

速覽EMNLP 2020上錄取的知識(shí)圖譜相關(guān)論文

介紹一些知識(shí)圖譜的實(shí)際應(yīng)用類項(xiàng)目

知識(shí)圖譜最新權(quán)威綜述論文解讀：知識(shí)表示學(xué)習(xí)部分

手把手教你搭建一個(gè)中式菜譜知識(shí)圖譜可視化系統(tǒng)

?

如果對(duì)文章感興趣歡迎關(guān)注知乎專欄“人工智能遇上知識(shí)圖譜“，也歡迎關(guān)注同名微信公眾號(hào)“人工智能遇上知識(shí)圖譜”，讓我們一起學(xué)習(xí)并交流討論人工智能與知識(shí)圖譜技術(shù)。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

總結(jié)

以上是生活随笔為你收集整理的常识知识在AI不同领域应用的最新研究进展的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。