常识推理相关最新研究进展

以深度学习为代表的智能感知技术已经取得了突破性进展，并已在各行各业产生了巨大的价值。目前，人工智能的研究领域已经逐渐从感知智能向认知智能领域过渡，其中，深度学习无法解决的一个主要问题是常识推理问题。常识知识是人类智能的重要体现，在计算机中通常以符号逻辑的知识表示形式存储和处理。最近，常识推理在多个研究领域受到了广泛关注，泽宇调研了最新发表的关于常识推理和引入常识知识的研究论文并和大家一起分享学习。

1. 常识问答

常识推理是指评估环境状况并采取相应行动的能力。识别环境的隐式原因和结果的能力可以使机器执行常识性推理。常识推理或常识问答是常识知识最直接的应用，也是研究工作最集中的领域，下面来介绍几篇这个领域的研究。

I Know What You Asked: Graph Path Learning using AMR for Commonsense Reasoning

Authors: Jungwoo Lim, Dongsuk Oh, Yoonna Jang, Kisu Yang, Heuiseok Lim

论文地址：https://arxiv.org/pdf/2011.00766

内容简介：这篇论文是最新发表在COLINE 2020上关于常识推理的研究（接下来还有两篇也是发表在COLING 2020）。这篇论文的题目很有意思：“我知道你问的是什么”。从题目就可以看出来这项工作主要面向理解常识问答中的问题。常识问答任务不像传统的问答（QA）任务可以直接从知识库或表中直接找到问题对应的答案，而是需要利用预定义知识执行常识推理来预测正确答案。以前的大多数常识问答工作主要是提高分布式表示学习的性能，而没有考虑根据问题的语义表示来预测答案。为了分析问题的语义解释，这篇论文提出了AMR-ConceptNet-Pruned（ACP）图。ACP图是从包含输入问题生成的抽象含义表示（AMR）图和外部常识知识图谱ConceptNet（CN）的完整集成图中修剪而来的。然后，利用ACP图来解释推理路径并预测常识问答任务的正确答案。一个常识问答的例子如下图(a)所示，问题语义表示图如下图(b)所示，问题相关的常识知识图谱图谱ConceptNet中的子图如下图(c)所示。

Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources

Authors: Qianglong Chen, Feng Ji, Haiqing Chen, Yin Zhang

论文地址：https://arxiv.org/pdf/2011.02705

内容简介：这篇论文是浙大和阿里达摩院联合发表在COLING 2020上的工作，从题目中可以看出重点在于如何从多个知识源中检索答案。本文提出了一种通过整合多个知识源（ConceptNet，Wikipedia和Cambridge Dictionary）的问答方法。具体地，这项研究的一个核心模块是一个新颖的基于图结构的迭代知识检索模块，该模块从多个知识源中迭代检索与给定问题有关的概念和实体，具体方法如下图所示。然后，使用预训练语言模型RoBERTa-large对问题进行编码，并提出一种答案选择感知注意力机制，以融合先前模块的所有隐式表示。最后，针对特定问答任务采用线性分类器来预测答案。

COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense Question Answering

Authors: Farhad Moghimifar, Lizhen Qu, Yue Zhuo, Mahsa Baktashmotlagh, Gholamreza Haffari

论文地址：https://arxiv.org/pdf/2011.00777

内容简介：这篇论文同样是发表在COLING 2020上的研究，特点是考虑了零样本学习情况下的常识问答任务。这项研究的背景是针对社交媒体网络的动态世界，由于无法识别各种隐式社会关系也就是无法估计出正确的推理路径，当前常识推理方法缺乏在面对看不见的情况时执行常识推理的能力。本文提出了基于条件SEQ2SEQ的混合模型（COSMO），该模型提供了动态且多样化的内容生成功能。具体的，使用COSMO生成上下文相关子句，这些子句可动态生成动态知识图谱，并利用设计的答案分类器模型，以实现零样本常识推理。特别的，这项工作使用的常识知识库不同于常见的ConceptNet等三元组表示的常识知识图谱，而是使用了ATOMIC，这是一个包含30万个事件的简短文字描述和87.7万个事件之间的if-then关系，因此这个常识库的常识知识是以子句的形式表示的。包含动态子句生成和分类器模块的模型如下图所示。

Differnetiable Open-Ended Commonsense Reasoning

Authors: Bill Yuchen Lin, Haitian Sun, Bhuwan Dhingra, Manzil Zaheer, Xiang Ren, William W. Cohen

论文地址：https://arxiv.org/pdf/2010.14439

内容简介：这篇论文是南加州的Yuchen Lin和Xiang Ren老师等人的研究，主要研究开放式的常识推理任务。作者考虑到当前的常识推理研究主要集中在开发使用常识知识回答多项选择题的任务。但是，在没有提供可能的候选答案供选择时，这类系统就会无法使用。因此，这篇论文研究了开放式常识推理（OpenCSR），也就是无需任何预先定义的选择就可以回答常识问题的任务，仅使用自然语言描述的常识事实语料库作为资源库。由于许多常识问题需要多跳推理才能预测答案，因此论文提出了一种支持多跳推理的可微模型，称为DrFact。特别的，DrFact同时使用事实知识之间关联的神经和符号表示，以在端到端的可区分框架中对事实跟踪操作进行建模。首先将语料库中的所有事实句子编码为向量表示，以形成神经事实索引，以便可以通过最大内积操作来完成快速检索。同时，使用稀疏的事实的共现矩阵来存储事实之间的符号链接（如果一对事实共享相同的概念，则将它们链接在一起）。采用事实跟踪的多跳推理过程如下图所示。

2. 生成式常识推理

KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense Reasoning

Authors: Ye Liu, Yao Wan, Lifang He, Hao Peng, Philip S. Yu

论文地址：https://arxiv.org/pdf/2009.12677

内容简介：这篇论文是数据库权威大佬Philip S. Yu团队的一项研究，之前我们也专门对他们写的一篇知识图谱最新综述论文进行了解读，感兴趣的小伙伴可以查看文末的往期精选中的链接。现在我们介绍的这篇关于常识推理的论文主要研究融合知识图谱的预训练语言模型并用于生成式常识推理任务。生成式常识推理旨在使机器能够生成具有推理能力的句子，这是文本生成的关键瓶颈。即使最先进的预训练语言模型难以完成这一任务，因为这些模型很少考虑在常识概念之间提供丰富关系信息的知识图谱。为了提高常识推理在文本生成中的能力，这篇论文提出了一种新颖的知识图谱增强的预训练语言生成模型KG-BART，该模型通过知识图谱包含概念的复杂关系，并产生更多符合逻辑逻辑和自然的句子作为输出。此外，KG-BART可以利用图注意力来聚合丰富的概念语义信息，从而增强了对未见概念集的模型泛化能力。KG-BART和现有的一些预训练语言模型在生成常识推理句子的例子如下图所示。

Generating Commonsense Explanation by Extracting Bridge Concepts from Reasoning Paths

Authors: Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Minlie Huang

论文地址：https://arxiv.org/pdf/2009.11753

内容简介：这篇论文是清华的Minlie Huang老师团队发表在 AACL-IJCNLP 2020上的研究。常识解释的生成旨在通过针对常识的陈述语句生成合理的解释来增强机器的感知能力。这篇论文首先提出了一种两阶段方法，该方法首先从ConceptNet常识知识图谱中检索并抽取“桥梁”概念，然后通过集成所提取的概念来生成解释。为了促进推理过程，利用外部常识知识抽取和修剪多跳路径来构建子图，从而在语句和桥梁概念之间建立联系。接着，基于Transformer生成解释语句。整个系统流程如下图所示。

Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph

Authors: Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Xiaoyan Zhu, Minlie Huang

论文地址：https://arxiv.org/pdf/2009.11692

内容简介：这篇论文同样是清华Minlie Huang老师团队发表在EMNLP 2020上的研究，一作还是Haozhe Ji。现有的将常识知识集成到预训练语言模型中的方法，在迁移关系知识时仅仅利用了单个知识三元组，而忽略了知识图谱中的丰富语义关联。作者认为利用知识图谱的结构和语义信息可促进常识文本生成，因此，这篇论文提出了使用多跳推理流程（GRF）进行文本生成的方法，该方法可以在从外部常识知识图谱中提取的多关系路径上启用带有动态多跳推理的预训练模型。使用外部知识图谱促进常识文本生成的示例如下图所示。

3. 结合符号逻辑的常识推理

Learning Contextualized Knowledge Structures for Commonsense Reasoning

Authors: Jun Yan, Mrigank Raman, Tianyu Zhang, Ryan Rossi, Handong Zhao, Sungchul Kim, Nedim Lipka, Xiang Ren

论文地址：https://arxiv.org/pdf/2010.12873

内容简介：这篇论文是南加州的Xiang Ren老师团队和印度理工，清华与Adobe联合的研究，主要研究了用于常识推理的神经符号模型。最近，神经符号结构通过有效地编码外部知识图谱中的关系结构，并在常识推理和问答等任务中获得了最新技术成果。但是，这些方法依赖于在预处理阶段从知识图谱中检索到的上下文三元组事实，却忽略了知识图谱的不完备性，关系表达的有限性以及与推理无关的事实而引入噪声等问题。本文提出了一种新的神经符号模型，称为混合图网络（HGN），该模型可联合生成新的三元组的嵌入表示（用于知识图谱补全），确定三元组与推理的相关性上下文，并学习用于对关系信息进行编码的图模块参数。模型还能通过过滤对推理过程无用的边来得到更为紧凑的图结构（包含提取的边和新生成的边）。整个模型的结构如下图所示。

Social Commonsense Reasoning with Multi-Head Knowledge Attention

Authors: Debjit Paul, Anette Frank

论文地址：https://arxiv.org/pdf/2010.05587

内容简介：这篇论文是发表在EMNLP 2020上的研究，主要结合半结构化的常识推理规则实现常识推理。在这项工作中，提出了一种新颖的多头知识注意力机制，该模型通过对半结构化的常识推理规则进行编码，并学习将其纳入基于Transformer的推理单元中。论文中通过两个推理任务来评估模型的性能：归纳自然语言推理和反事实不变预测。这个工作也是第一个证明了能够进行反事实推理的模型有助于预测归纳推理任务。

Inductive Learning on Commonsense Knowledge Graph Completion

Authors: Bin Wang, Guangtao Wang, Jing Huang, Jiaxuan You, Jure Leskovec, C. -C. Jay Kuo

论文地址：https://arxiv.org/pdf/2009.09263

内容简介：这篇论文常识知识图谱是一种特殊类型的知识图谱，其中实体是由自由格式的文本组成。但是，大多数现有的常识知识图谱补全的方法都集中在在训练时具有所有实体的情况。而实际上，常识知识图谱往往非常稀疏，测试时的一些实体在训练过程中可能是没有见过的，并且实体可能与训练时的知识图谱断开连接。这篇论文中提出了一个新的归纳学习模型InductivE，即使在训练时知识图谱中不存在某个实体，InductivE也可以通过直接从原始实体属性或文本来计算实体的嵌入表示，以确保系统归纳学习的能力。InductiveE由文本编码器，图编码器和知识图谱补全解码器组成。具体而言，文本编码器首先基于预训练语言模型和词嵌入来提取每个实体的文本表示。图编码器是门控关系图卷积神经网络，可从知识图谱的实体邻域中学习更多信息来表示实体。归纳学习方法采用Conv-TransE作为常识知识图谱补全的解码器。整个模型的结构图如下图所示。

接下来我们还会继续分享常识知识在其它领域包括对话系统和图像等领域中的应用，欢迎关注我们的文章。