常识知识在AI不同领域应用的最新研究进展

上期，我们一起学习了常识推理的最新研究进展。这次，我们一起来看看常识知识在AI不同的领域都有哪些应用，泽宇找到几篇最新或有代表性的研究和大家分享学习。

Commonsense Knowledge Aware Conversation Generation with Graph Attention

Authors: Hao Zhou, Tom Young, Minlie Huang, Haizhou Zhao, Jingfang Xu, Xiaoyan Zhu

论文地址：https://www.ijcai.org/Proceedings/2018/0643.pdf

内容简介：说到常识知识的利用，必须要提的就是这篇取得了IJCAI 2018杰出论文奖的论文，这篇论文的一作是清华的周昊大神，co-author包括黄民烈老师和朱小燕老师。这篇论文提出了一种新的开放域对话的生成模型，在对话生成中首次使用了大规模的常识知识库。通过常识知识可以使模型能够更好地理解对话，从而给出更合理和符合常识的回复。同时，之前的研究都是将每个知识三元组独立使用，这篇论文中设计了静态和动态图注意力机制，把知识三元组看作一个图，利用实体的领域信息可以更好地理解当天实体的语义信息。

What is More Likely to Happen Next? Video-and-Language Future Event Prediction

Authors: Jie Lei, Licheng Yu, Tamara L. Berg, Mohit Bansal

论文地址：https://arxiv.org/pdf/2010.07999

内容简介：这篇论文是发表在EMNLP 2020上关于视频-语言预测的一项研究，给定具有一致对话的视频，人们通常可以推断出下一步可能发生的情况。做出这样的预测不仅需要理解视频和对话背后的丰富动态，还需要大量的常识知识。作者通过收集了一个新的数据集，名为“视频和语言事件预测（VLEP）”，其中包含来自10,234个不同的电视节目和YouTube Lifestyle Vlog视频剪辑的28,726个未来事件预测示例（及其依据）。实验表明，每种类型的信息都可用于完成这项具有挑战性的任务，并且与VLEP上的出色人工表现相比，这篇论文中提出的模型提供了一个很好的起点，并为将来的工作留出了很大的空间。

iPerceive: Applying Common-Sense Reasoning to Multi-Modal Dense Video Captioning and Video Question Answering

Authors: Aman Chadha, Gurneet Arora, Navpreet Kaloty

论文地址：https://arxiv.org/pdf/2011.07735

内容简介：这篇论文是发表在WACV 2021上的关于视频描述和视频问答的研究。由于视觉理解中的大多数现有技术仅依赖于分析“有什么”（例如事件识别）和“在何处”（例如事件定位），这在某些情况下无法描述事件之间的正确上下文关系。人类和机器目前最大的不同在于人类本能地寻找任何关联背后的因果关系，也就是需要用到常识知识。为此，这篇论文中提出了iPerceive框架，其能够理解通过使用上下文线索建立常识知识库来推断视频中对象之间的因果关系，从而理解视频中的事件之间“为什么”。

Beyond Language: Learning Commonsense from Images for Reasoning

Authors: Wanqing Cui, Yanyan Lan, Liang Pang, Jiafeng Guo, Xueqi Cheng

论文地址：https://arxiv.org/pdf/2010.05001

内容简介：这篇论文发表在EMNLP 2020 Findings，针对非 NLP 中的常识推理问题，这篇论文提出了一种从图像中学习常识的新颖的方法。这项研究的动机来自这样一个事实：一幅图像具有大约一千个单词的价值，可以利用更丰富的场景信息来帮助提取常识知识。这篇论文中提出的模型为Loire，其包括两个阶段，在第一阶段，基于文本表示模型ViBERT，采用双模态的 sequence-to-sequence方法来执行场景图生成任务。这样，所需的视觉场景知识例如空间关系通过监督学习过程，使用诸如COCO之类的双模态数据，在ViBERT中进行编码。然后，将ViBERT与预训练语言模型连接起来，以执行下游的常识推理任务。

Advanced Semantics for Commonsense Knowledge Extraction

Authors: Tuan-Phong Nguyen, Simon Razniewski, Gerhard Weikum

论文地址：https://arxiv.org/pdf/2011.00905.pdf

内容简介：这篇论文是发表在Arxiv上最新的关于常识知识抽取的研究。有关概念及其属性的常识知识（CSK）对于AI的一些应用（例如鲁棒的聊天机器人）很有用。已有的一些常识知识库例如ConceptNet，TupleKB等的表达受限于主谓宾（SPO）三元组的形式。这篇论文提出了一种称为Ascent的方法，该方法可自动构建CSK断言的大规模知识库，与以前的工作相比，具有更强的表达能力，更好的准确性和可使用性。通过取得具有subgroups和aspects的组合概念，以及通过语义facet完善声明，Ascent超越了三元组。Ascent使用语言模型将开放信息提取与数据清洗相结合。内部评估显示了Ascent KB出色的规模和质量，而对质量检查支持任务的外部评估进一步说明了了Ascent的优势。

COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs

Authors: Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, Yejin Choi

论文地址：https://arxiv.org/pdf/2010.05953

内容简介：这篇论文是最新提出的一个评估常识知识图谱的研究。由于全面涵盖一般常识知识所需的规模巨大，手动构建的常识知识图谱难以达到NLP遇到的所有情况所必需的覆盖范围。因此，这篇论文提出了ATOMIC2020，这是一种新颖的常识知识图谱，其中包含元组的关联，这些元组是专门选择的，对于预训练语言模型具有一定的挑战性。实验结果表明，ATOMIC2020包含跨多个新型关系的高精度知识元组，而现有的常识知识图谱或语言模型无法对这些关系进行表达。

Incorporating Structured Commonsense Knowledge in Story Completion

Authors: Jiaao Chen, Jianshu Chen, Zhou Yu

论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/5183/5055

内容简介：这篇论文是发表在AAAI 2019上的关于利用常识知识来完成故事结局预测的研究。故事结局预测不仅需要上下文中的明确线索，还需要隐性知识（例如常识）以构建合理且一致的故事。但是，大多数先前的方法并未明确使用背景常识知识。这篇论文提出了一个神经故事结局选择模型，该模型集成了三种类型的信息：叙事序列，情感演变和常识知识。实验表明，提出的模型在公开数据集ROCStory Cloze Task上的表现优于最新方法，并且通过添加其他常识知识可显着提高性能。

Enhancing Pre-Trained Language Representations with Rich Knowledge for Machine Reading Comprehension

Authors: An Yang,Quan Wang,Jing Liu,Kai Liu,Yajuan Lyu,Hua Wu,Qiaoqiao She,Sujian Li

论文地址：https://www.aclweb.org/anthology/P19-1226.pdf

内容简介：这篇论文是发表在ACL 2019上的关于利用常识知识实现机器阅读理解的研究。机器阅读理解（MRC）是NLP中一项至关重要且具有挑战性的任务。最近，预训练语言模型（LM）在MRC中展现了优异的效果。这篇论文研究了利用外部常识知识库WordNet和NELL进一步改善MRC的BERT的潜力，提出了KT-NET模型，其采用一种注意力机制从知识图谱中自适应地选择所需的知识，然后将选定的知识与BERT融合以实现上下文和知识感知的预测。实验结果表明，KT-NET在ReCoRD和SQuAD1.1上优于baselines。

Diverse and Informative Dialogue Generation with Context-Specific Commonsense Knowledge Awareness

Authors: Sixing Wu,Ying Li,Dawei Zhang,Yang Zhou,Zhonghai Wu

论文地址：https://www.aclweb.org/anthology/2020.acl-main.515.pdf

内容简介：这篇论文是发表在ACL 2020上关于利用常识知识实现生成式对话的研究。生成式对话系统倾向于产生通用的响应，这通常会导致无聊的对话。为了解决这个问题，最近的研究提出从知识图谱中检索和引入知识事实，但通常仅基于实体词本身来检索知识事实，而不考虑特定的对话上下文。为此，这篇论文提出了一种新颖的常识性知识对话生成模型ConKADI，将重点放在与上下文高度相关的知识事实上。同时，为了促进知识在ConKADI中的集成，提出了两种技术：上下文知识融合和灵活模式融合。这篇论文中还收集并建立了一个符合常识的大规模中文数据集，以进行对话。

Visual Commonsense R-CNN

Authors: Tan Wang, Jianqiang Huang, Hanwang Zhang, Qianru Sun

论文地址：https://arxiv.org/pdf/2002.12204.pdf

内容简介：这篇论文是发表在CVPR 2020上关于视觉常识任务的研究。论文中提出了一种新颖的无监督特征表示学习方法VC R-CNN，其可以基于任何R-CNN框架，仅使用特征级联就可以支持各种高级任务。VCR-CNN的关键创新之处在于，学习目标是基于常识知识提供的因果干预的。大量实验显示，在几乎所有强大的基准和指标上，性能均获得了惊人的提升。接下来，作者还计划研究将VC R-CNN应用于其他模式（如视频和3D点云）等任务中。