论文浅尝 | 用于低资源条件下知识图谱补全的关系对抗网络

论文作者: 邓淑敏，浙江大学在读博士，研究方向为低资源条件下知识图谱自动化构建关键技术研究。

Ningyu Zhang, Shumin Deng, Zhanlin Sun, Jiaoyan Chen, Wei Zhang, Huajun Chen. Relation Adversarial Network for Low Resource Knowledge Graph Completion.

本论文已被WWW 2020接收.

论文链接：https://arxiv.org/abs/1911.03091

知识图谱补全（Knowledge Graph Completion，KGC），通过链接预测或关系抽取来补充知识图谱缺失的连接，主要困难之一是资源不足问题。KG中存在很多实例很少的关系，而且那些新添加的关系通常没有许多已知的训练样本。比如下图中展示的，KG大部分关系的样本都比较少，呈现出长尾分布，比起样本较多的关系，长尾关系的预测和抽取性能显著降低。（a）关系的链接预测结果与它们在KG中的频率高度相关，KG中频率较高的关系明显优于频率较低的关系；（b）关系抽取的效果，随着每个关系的样本数目减少而下降。本文的任务是在低资源条件下，预测KG中新的三元组，包括链接预测和关系抽取两个子任务。

典型的KGC任务中的资源不足问题示例（链接预测、关系抽取）

本文提出了一个加权关系对抗网络（Weighted Relation Adversarial Network，wRAN）的通用框架，该框架利用对抗过程，将从资源丰富的关系中学到的知识/特征，去适应不同但相关的低资源关系。wRAN框架综合考虑了三部分问题：对抗迁移学习（Adversarial Transfer Learning），核心思想是通过对抗性学习过程提取领域不变性特征，该过程能够减少源域和目标域之间的分布差异；关系对抗网络（Relation Adversarial Network），学习通用的关系不变性特征，以此弄清不同关系背后的语言变化因素，并缩小相关关系之间的语言差异；负迁移（Negative Transfer），区别于标准的domain adaption源域和目标域之间的标签空间完全相同且共享，wRAN考虑从多个源关系到一个或多个目标关系的适应，并且考虑了不同的关系可能对迁移产生不同的影响，离群的源关系在与目标关系做判别时可能导致负迁移。比如下图所示，wRAN可以从三个源关系（place_of_death，place_of_birth，country）中学习通用的位置信息，然后将隐含的知识应用于目标关系（place_of_burial）以提高其预测性能，而capital关系则会导致负迁移。

Relation Adaptation示例

具体地说，wRAN框架利用关系判别器来区分来自不同关系的样本，并以此学习从源关系到目标关系易于迁移的关系不变性特征，主要包含三个模块：

（1）实例编码器（Instance Encoder），学习可转移的特征，这些特征可以弄清关系之间的语言变化因素。考虑到模型性能和时间效率，本文使用CNN实现实例编码。其他神经架构，例如RNN和BERT也可以用作编码器。

（2）对抗性关系适应（Adversarial Relation Adaptation），寻找可以区分具有不同关系分布的关系判别器。对抗学习有助于学习一个神经网络，该网络可以将目标样本映射到特征空间，从而使判别器不再将其与源样本区分开。

（3）加权关系适应（Weighed Relation Adaptation），可以识别无关的源关系并自动降低其重要性，以解决负迁移问题并鼓励正迁移。通过两个角度来评估每个源关系/样本对目标关系的重要性：关系间相关性和实例迁移能力。并提出关系门控机制，学习和控制细粒度的关系/样本权重。