知识图谱最新权威综述论文解读：关系抽取

上期我们介绍了2020年知识图谱最新权威综述论文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》的知识图谱实体发现部分，本期我们将一起学习这篇论文的关系抽取部分。

论文地址：

https://arxiv.org/pdf/2002.00388.pdfarxiv.org

关系抽取作为自动化构建知识图谱过程中非常重要的一个技术，近年来得到越来越多的关注。

关系抽取

关系抽取是从纯文本中提取未知关系事实并将其加入到知识图谱中，是自动构建大规模知识图谱的关键。由于缺少标记的关系数据，远程监控（distance supervision）也称为弱监控或自监督，通过假设包含相同实体的语句在关系数据库的监督下可以表示相同的关系，使用启发式匹配来创建训练数据。Mintz等人采用了远程监控的关系分类方法，文本特征包括词汇和句法特征、命名实体标记和连接特征。传统方法高度依赖于特征工程，最近一种方法探索了特征之间的内在关联。深度学习正在改变知识图谱和文本的表示学习。本节回顾了神经关系提取（NRE）方法的最新进展，如下图所示。

1 神经关系抽取

神经网络广泛应用于关系抽取任务中。具有相对实体距离位置特征的CNN最早用来进行关系分类，然后利用多窗口CNN和多尺度卷积核进行关系抽取。多示例学习以一个bag的句子作为输入，预测实体对之间的关系。PCNN对按实体位置划分的卷积表示段应用分段最大池化。与普通的CNN相比，PCNN能够更有效地捕捉实体对内的结构信息。MIMLCNN进一步将其扩展到多标签学习中，使用跨句子最大值池化进行特征选择。此外，还利用了诸如类关联和关系路径等边信息。

文中还介绍了RNN，如SDP-LSTM采用多通道LSTM，同时利用实体对之间的最短依赖路径等。BRCNN使用双通道双向LSTM和CNN，其结合了用于捕捉序列依赖的RNN和用于表示局部语义的CNN。

2 注意机制

attention机制的许多变体与CNN相结合，例如，单词级attention捕捉单词的语义信息和对多个实例的选择性注意以减轻噪声实例的影响。APCNN引入了PCNN的实体描述和句子级注意力机制，而HATT提出了层次选择性attention，通过连接每层的attention表示来捕捉关系层次信息。Att BLSTM提出了用BiLSTM进行单词级的注意力，而不是基于CNN的句子编码。

3 图卷积网络

GCN用于对句子的依赖树进行编码，或者学习知识图谱嵌入以利用关系知识进行句子编码。C-GCN是以路径为中心的句子剪枝依赖树上的上下文GCN模型。AGGCN也对依赖树应用GCN，但以软加权的方式利用多头注意力进行边缘选择。与前两种基于GCN的模型不同，Zhang等人将GCN应用于知识图谱中的关系嵌入，用于基于句子的关系抽取。进一步提出了一种粗到细的知识感知注意力机制，用于信息实例的选择。

4 对抗训练

在多标签多示例学习环境下，利用对抗训练（AT）在基于CNN和RNN的词嵌入中加入对抗噪声进行关系抽取。DSGAN采用GAN来实现去除远程监督的关系抽取。

5 强化学习

近年来，利用策略网络训练实例选择器，将深度学习技术引入到神经关系抽取中。Qin等训练了基于策略的句子级关系分类器的agent，将假阳性实例重新分配到负样本中，以减轻噪声数据的影响。以F1得分作为评价指标，以基于F1得分的性能变化作为策略网络的奖励。同样，Zeng等人和Feng等人提出了不同的奖励策略。基于强化学习的神经关系抽取的优点是关系抽取不依赖于模型。因此，它可以很容易地适应任何神经网络结构，以有效地抽取关系。最近，HRL提出了一个高层关系检测和底层实体抽取的分层策略学习框架。

6 其它研究

Huang和Wang注意到目前的NRE方法并不使用非常深的网络，因此将深度残差网络应用于关系抽取，发现9层的CNN具有更好的性能。Liu等人提出通过实体分类的迁移学习来初始化神经网络模型。CORD通过双向知识蒸馏和自适应模仿，将文本语料库和知识图谱与外部逻辑规则结合起来。TK-MF通过句子和主题词的匹配，丰富了句子表示学习。知识图谱中低频关系的存在要求用不可见的类或少数实例进行小样本关系分类。Gao等人提出了用于小样本学习的基于混合注意力的原型网络来计算原型关系嵌入，并比较其与查询嵌入之间的距离。

7 总结

在远程监控的假设下，关系抽取会受到噪声的影响，特别是在不同领域的文本语料库中。因此，弱监督关系抽取对于减轻噪声标签的影响是非常重要的，例如，以句子bag为输入的多示例学习、对实例进行软选择以减少噪声模式的注意力机制AGGCN和将实例选择作为硬决策的基于强化学习的方法。另一个原则是学习尽可能丰富的表示。由于深度神经网络可以解决传统特征提取方法中的误差传播问题，因此该领域主要由基于深度神经网络的模型主导，各类方法的经典神经关系抽取模型的总结如下表所示。