笔记整理：朱珈徵，天津大学硕士
链接：https://aclanthology.org/2021.acl-long.183.pdf
动机
因果推理旨在理解因果之间的一般因果相关性，对于各种人工智能应用都有很大的价值。先前的研究主要是基于从手工注释的因果事件对中归纳出的知识来推断事件之间的因果关系。然而，关于因果关系的更多证据信息仍未被利用。通过整合这些信息，可以揭示因果关系背后的逻辑规律，提高因果推理系统的可解释性和稳定性。为此，作者们提出了一个事件图知识增强的可解释因果推理框架(ExCAR)。ExCAR首先从大规模的因果事件图中获取额外的证据信息，作为因果推理的逻辑规则。为了学习逻辑规则的条件概率，作者们提出了条件马尔可夫神经逻辑网络(CMNLN)，它以端到端可微的方式结合了逻辑规则的表示学习和结构学习。实验结果表明，ExCAR的性能优于以往的SOTA方法。对抗性攻击评估显示ExCAR的稳定性优于基线系统。人工评估结果表明，ExCAR具有良好的可解释性能
亮点
ExCAR的亮点主要包括：
1.提出了一个事件图知识增强的可解释因果推理(ExCAR)框架充分利用证据信息的潜力。给定一个输入事件对，ExCAR首先从大型因果事件图中检索外部证据事件，并将它们之间的因果关系定义为一组逻辑规则；2.进一步提出了一个条件马尔可夫神经逻辑网络(CMNLN)，以端到端方式学习逻辑规则的条件因果相关性，以解决事件之间因果关系的不确定。
概念及模型
•背景
因果推理任务可以形式化为一个预测问题：给定一个因果事件对<C,E>，由前提事件和其中一个假设事件组成，预测模型需要预测一个分数来度量事件对的因果关系。
CEG是由作者构建的大规模因果知识库，从该知识库中可以检索出一组针对某一因果事件对<C,E>的额外证据。在形式上，CEG是一个有向无环图，表示为G = {V,R}，其中V是节点集，R是边集。每个节点 对应一个事件，而每条边 表示第i个事件和第j个事件之间存在因果关系。
为了提高因果推理的可解释性和稳定性，本文将因果推理问题转化为基于规则的推理任务。具体来说，给定一个输入因果事件对<C,E>，从CEG那里检索到一组证据事件。证据事件与C、E进一步形成一套因果逻辑规则，其中一条规则描述了两个事件之间的因果关系。在形式上，规则 ，其中是⇒一个逻辑连接，表示两个事件 和 之间的因果关系。针对这些因果逻辑规则，可以揭示因果机制，并以一种可解释的方式进行因果推理
事件图知识增强的可解释因果推理(ExCAR)框架结构如下：
•ExCAR
如图上所示，ExCAR由两个组件组成。给定事件对<C,E>，ExCAR采用证据检索模块，从预先构建的因果事件图中检索证据事件，生成一组逻辑规则。然后ExCAR利用条件马尔可夫神经网络进行基于逻辑规则的因果推理。
•证据事件检索
给定在因果事件图之外的事件对<C,E>，为了从因果事件图中获得证据，作者首先在因果事件图中定位因果关系。从直观上看，语义上相似的事件会有相似的原因和结果，并且在CEG中共享相似的位置。为此，采用了一种预先训练的语言模型ELMo来推导CEG中事件的语义表示，以及因果事件。然后利用语义表示的余弦相似度，在CEG中找到与输入的因果事件语义相似的事件。这些事件可以作为定位因果事件的锚点。然后如上图所示，以原因事件的锚点为起点，以效应事件的锚点为终点，可以通过广度优先搜索(BFS)算法检索证据事件。
•条件马尔可夫神经逻辑网络
规则的因果强度可能因先行词的不同而不同，其中先行词可以是一个事件，一个简单的规则或单个规则的复杂组合。为清楚起见，将规则 的先行词表示为 。如图所示，从因果逻辑图派生出的单个规则可以有多个前因，每个前因都可以对规则的因果强度产生自己的影响。为了通过利用神经模型在表示学习中的有效性来解决这个问题，提出了基于逻辑规则嵌入的CMNLN。为了模拟规则的叠加因果效应，CMNLN将CLG视为不同因果逻辑链的组合，并结合每个因果逻辑链的信息预测因果评分。因此，在每个因果逻辑链中，使用一个前因感知的势函数，为每个规则估计特定于链的因果强度。然后CMNLN聚合链内因果信息和链间因果信息，得出因果评分。
•训练
在训练过程中，引入了因果逻辑驱动的负抽样，以提高条件因果强度估计的可靠性。特别是，如果在CLG中存在规则 ，由于因果关系的单向性，可以推导出相应的错误规则 。从CLG中，也可以通过随机抽样为错误规则生成一个错误的前因式。因此，理想情况下，这些错误规则的条件因果强度应该等于0。此外，还将因果关系的单向性与因果关系的及物性结合起来，生成具有更复杂模式的错误规则。通过对错误规则进行采样并训练这些错误规则的势函数为零时，条件因果强度估计的可靠性可以得到提高。对于因果逻辑驱动的负抽样过程，CMNLN的损失函数定义为
理论分析
实验
为了评估ExCAR框架的鲁棒性，作者构建了一个额外的中文常义因果推理数据集C-COPA。
Baseline：这些方法从大规模语料库中估计词或短语层次的因果关系。然后通过合成词级或短语级的因果关系，得到输入事件对的因果关系。PMI使用点互信息度量词级因果关系。PMI EX是一个非对称的词水平PMI，它考虑了因果推理的方向性。CS通过整合必要性因果关系和充分性因果关系来衡量词汇层面的因果关系。CS MWP使用CS评分来衡量单词和介词短语之间的因果关系。
作者在下表中列出了COPA数据集和C-COPA数据集上的结果。实验表明，与基于因果对的BERT相比，ExCAR相关方法的性能有所提高。这表明从事件图中加入额外的证据有助于揭示因果决策机制，从而提高因果推理的准确性。ExCAR-w/ MLN和ExCAR-w/ CMNLN的性能优于ExCAR-concat，后者将CLG简化为一个事件序列。这表明利用逻辑规则之间复杂的因果关系模式可以帮助完成因果推理任务。与ExCAR-w/ fixed-cs相比，ExCAR-w/ MLN和ExCAR-w/ CMNLN的性能有所提高。这证实了神经化规则来解释逻辑规则的不确定性对因果推理任务是有帮助的。与ExCAR-w/ MLN相比，ExCAR-w/ CMNLN进一步提高了预测精度，表明通过整合前因感知势函数，CMNLN可以对因果推理逻辑规则的条件因果强度进行建模。
表2为对抗性攻击后的预测精度，∆为对抗性攻击带来的性能变化。例如，∆= -9.9表示攻击后的预测精度下降了9.9%。作者发现，与基于事件对的BERT相比，ExCAR能够显著提高预测精度的稳定性。这些结果表明，ExCAR可以通过引入额外的证据事件来揭示其背后的因果机制，从而提高预测结果的稳定性。
总结
本文设计了一个新颖的可解释的因果推理框架ExCAR。给定一个事件对，ExCAR能够从一个大规模的因果事件图中获取逻辑规则，以提供对推理结果的洞察力。为了学习逻辑规则的条件概率，作者提出了一种结合了基于规则和神经模型的优势的条件马尔可夫神经逻辑网络。经验上，本文的方法在两个因果推理数据集，包括COPA和C-COPA上优于之前的工作。此外，ExCAR可以通过提供概率逻辑规则的解释来解释。
OpenKG
OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。
点击阅读原文，进入 OpenKG 网站。
