论文浅尝 | 通过共享表示和结构化预测进行事件和事件时序关系的联合抽取

论文笔记整理：邓淑敏，浙江大学在读博士，研究方向为低资源条件下知识图谱自动化构建关键技术研究。

Rujun Han, Qiang Ning, Nanyun Peng. Joint Event and Temporal Relation Extractionwith Shared Representations and Structured Prediction. EMNLP 2019.

论文链接：https://www.aclweb.org/anthology/D19-1041/

这篇文章解决的是“事件-事件关系联合抽取”问题，即给定一个候选事件对，除了判断这两个候选事件是否属于事件，还要判断出这两者之间是否存在关系（这篇文章判断的是时序关系）。在讲这篇文章的模型之前，我们首先整理一下解决这个问题的方法——端到端的事件-事件关系联合抽取模型。

端到端的事件-事件关系联合抽取模型大致可以分为四类：

（1）单任务模型，先进行事件检测，然后把检测到的事件对输入到事件关系抽取模型中，事件对的编码模型参数不共享；

（2）多任务模型，与单任务模型类似，但是事件的对的编码模型参数共享；

（3）管道联合模型，与多任务模型的区别在于训练过程，它是将事件检测模型生成的事件候选集直接用于事件关系抽取模型的训练；

（4）结构化联合抽取模型，与管道联合抽取模型的区别在于，事件检测模型和事件关系抽取模型不是序列关系，而是结构化的。注意单任务模型和多任务模型是无法处理None事件类型的，但是管道联合模型和结构化联合抽取模型可以。这篇文章提出的SSVM方法属于结构化联合抽取模型。4种方法形象化表示如下图所示。

端到端的事件-事件关系联合抽取模型分类（转载请注明出处）

Neural SSVM模型

接下来看一下本篇文章提出的Neural SSVM（神经结构化支持向量机）模型。

Neural SSVM 模型架构

上图是这篇文章提出的模型架构。事件对由BERT得到Embedding，然后经由BiLSTM编码，最后放到SSVM中进行事件与否和事件关系存在与否的判断。

SSVM的Loss函数为

其中，

表示的是事件的数目和事件关系数目的总和。

分别表示的事件对和事件关系的真实结果和预测结果。

分别表示的判断事件与否和判断事件关系存在与否的得分函数。

其他参数为超参或者模型参数。

MAP推断

这篇文章是通过最大后验概率推断来得到预测结果的，将推断问题建模为整数线性规划（ILP）问题，加入了三种约束：（1）one-labelassignment：单标签分配，事件和事件关系只有是与不是之分，并且只可能是其中一种；（2）event-relationconsistency：事件-事件关系的一致性，只有事件之间才存在事件关系，非事件之间不存在；（3）symmetryand transitivity：（时序）关系的对称性和传递性。

最后ILP的目标函数为：