论文笔记整理:余海阳,浙江大学硕士,研究方向为知识图谱、自然语言处理。
链接:https://www.aclweb.org/anthology/P19-1136
动机
本文提出了一种利用图卷积网络(GCNs)联合学习命名实体和关系抽取的端到端抽取模型GraphRel。之前抽取模型较少的同时抽取命名实体和关系,而且对实体对间的多关系问题处理不当,并且很少考虑不同关系间的相互影响,特别是一对实体间的多个关系之间的作用。
亮点
与之前的模型相比,我们通过关系加权的GCN来考虑命名实体和关系之间的交互,从而更好地提取关系。同时利用线性结构和依赖结构用于提取文本的序列特征和区域特征,并利用完整的词图进一步提取文本所有词对之间的隐式特征。使用基于图的方法,对重叠关系的预测比以前的顺序方法有了很大的改进。我们在两个公共数据集上评估GraphRel:NYT和WebNLG。结果表明,GraphRel在大幅度提高查全率的同时,保持了较高的查全率。GraphRel的性能也比之前的工作好3.2%和5.8% (F1分),实现了一种新的关系提取技术。
模型
模型整体的框架如下图。
模型分为两个阶段的预测。
第一阶段:
首先使用word embedding和pos embedding一同喂到Bi-LSTM网络中。然后输入得到的双向结果,分别喂到GCN网络中,由此构成Bi-GCN网络架构。GCN的邻接矩阵为句子的语法依赖树得到的结果,在依赖树中相连则邻接矩阵中的权值为1,否则为0。双向GCN的结果再拼接一起,得到最终encoder的结果。
在第一阶段预测中,将Bi-GCN得到的结果经过一个RNN之后再经过一次全连接层,即可做实体预测的任务。在关系预测中,将句子中词语两两组合分别去计算关系。具体公式如下:
第二阶段:
将第一阶段得到的结果,继续经过gcn,此时的gcn邻接矩阵的权值就是第一阶段求得的relation概率值。如此经过gcn之后再做聚合,然后继续做预测任务即可。公式如下:
实验
我们使用纽约时报(Riedel et al. 2010)和WebNLG(Gardentet al.2017)的数据集来评估该方法NYT和WebNLG的统计数据如表2所示。
我们把关系种类分为三类:Normal、entityairoverlap(EPO)和SingleEntityOverlap(SEO)。每个类别的计数也显示在表2中。实验结果如下:
另有样例分析,证明两阶段的抽取比单独第一阶段的抽取效果好。
总结
本文提出了一种基于图卷积网络(GCN)的端到端关系抽取模型GraphRel,该模型可以联合学习命名实体和关系。将RNN和GCN相结合,不仅提取整体序列特征,而且可以提取每个词的区域依赖特征。我们的方法还考虑了文本中所有词对之间的隐式特征。我们预测每对词之间的关系,解决了实体重叠的问题。此外,我们还引入了一种新的关系加权广义网络,它考虑了命名实体和重命名之间的相互作用。我们在NYT和webnlg数据集上对该方法进行了评估。结果表明,该方法比以往的方法分别提高了3.2%和5.8%,实现了一种新的关系提取方法。
OpenKG
开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文,进入 OpenKG 博客。