笔记整理 | 谭亦鸣，东南大学博士
来源：ACL 20
链接：https://www.aclweb.org/anthology/2020.acl-main.578.pdf
1.介绍
图谱之间的异构差异是建立实体对齐的一个主要挑战，本文提出了Neighborhood Match Network (NMN)，用于处理上述挑战。NMN的主要创新在于:
i.使用一个图采样方法(neighborhood sample)为每个实体提取一个不同的邻居；
ii.建立跨图邻居匹配模型对给定实体对的邻居差异进行联合编码。这种策略使得NMN能够有效的建立面匹配的实体表示，而忽略具有负面影响的噪声邻居。作者在DBP15K，DWY100K以及S-DBP15K等三个数据集上进行了充分实验，证明NMN能够在更困难的情况下评估邻居相似性，相对已有的12种方法也展现出更优的性能。
2.模型/方法
首先给出一些基本定义：
G表示一个KG
G = (E,R,T)， E，R，T分别表示实体集，关系集，三元组集
方法用于构建两个KG之间的实体对齐，即G1和G2
任务的最终目的是获取G1与G2之间的等价实体pair
在真实KG之间，邻居异构以及通用噪声邻居的存在，使得对齐模型难以从中捕捉到有效的信息。为了解决这个问题，NMN首先使用GCN对邻居的拓扑信息进行建模，然后使用neighborhood sample选择更具价值的邻居，接着通过跨图匹配模型捕捉邻居差异。
图2给出了本文模型的主要框架流程：
模型输入是两个KG，G1和G2
模型为每组实体对e1和e2做embedding，从而利用测量两者的距离d(e1,e2)来执行实体对齐。
模型涵盖四个主要流程：
1.KG结构embedding
2.邻居采样
3.邻居匹配
4.面向embedding生成的邻居融合
下面对四个流程分别做详细说明
1.KG结构embedding
NMN使用预训练的词向量用于GCN的初始化，这个策略使得编码涵盖了实体命名的语义信息。G1和G2被作为一个图揉合输入到NMN种，通过多层的GCN进行embedding，每层GCN使用节点特征集作为输入，并且通过以下过（公式1）更新每个节点的表示：
因此，第l层的节点特征输出如下所示：
其中，Ni表示实体i的邻居数，是归一化常数，
则是网络中的可学习权值矩阵。
2. 邻居采样（neighborhood sample）
对于实体来说，一跳邻居（1-hop neighborhood）是决定它与其它实体是否对齐的关键。但是并不是每个一跳邻居都对对齐提供了积极影响。为了选择那些更好（有益于对齐学习）的邻居。这里使用了一个下采样过程，从目标实体的一跳邻居中选择更具有价值的部分。
由于在初始化阶段使用的是实体命名的预训练词向量，GCN学习到的entity embedding同时涵盖了丰富的上下文邻居结构和实体语义信息。NMN探索这些信息用于采样有价值的邻居，例如那些包含更多与中心实体相关的上下文信息的邻居将会有更大概率被采样。这里作者的主要发现是当邻居与中心实体具有相同的文本时，该邻居具有更强的代表性。
从形式上，对于实体ei的一跳邻居ei_j（ei的第j个邻居）采样的概率可以由以下公式描述（公式2）：
其中，Ni是中心实体ei的一跳邻居索引，hi与hi_j分别表示实体ei与其邻居ei_j的embedding，Ws则是共享的权值矩阵。
基于这种有选择的一跳邻居采样，NMN本质上对每个实体的邻居建立了一个有差异的子图，这帮助模型在邻居匹配过程获得更加准确的对齐。
3.邻居匹配（neighborhoodmatching）
基于采样过程的筛选，匹配阶段将只需要在采样获得的邻居子图上进行。匹配的目标是在对应KG（counterpart KG）中找到每个候选实体（其邻居与目标实体的采样子图相关）
对于E1中的实体ei，需要与E2中每个候选实体对比两者的邻居子图。对于真实的大型图谱来说，候选实体显然是需要经过筛选得到，NMN首先通过以下公式（公式3）确定哪些实体j能够作为目标实体ei的候选对齐实体：
确定候选实体之后，要做的就是对子图做匹配，从而决定两者是否能够形成一组对齐，该过程可以形式化表示为公式4和5，假定ei和cik是一组需要被评估的实体pair，p和q是两者的邻居：
其中，apq是注意力权重，mp是p的匹配向量，它衡量了hp与其在其他子图中最接近邻居的差异。N是cik采样的邻居集，hp与hq是p和q的GCN-output embedding。
而后使用加权匹配向量mp连接邻居p的GCN-output embedding，形如：
对于邻居子图中的每个目标邻居，匹配模型中的注意力机制可以精确的判断另一KG的邻居子图中有哪个邻居最可能与目标邻居匹配。直观上，匹配向量m能够捕获两个最接近邻居之间的不同。当两个邻居具有相似的表示，匹配向量趋向于一个0向量从而使他们的向量表示保持相似性。
4.邻居融合（neighborhoodaggregation）
在融合阶段，本文利用KG结构embeding联合邻居连接信息，作为匹配阶段的输出，生成最后用于对齐的embedding。
对于实体ei，本文首先融合它的采样邻居表示，如公式7所示：
接着，连接中心实体ei的GCN表示hi与它的邻居：
实体对齐与训练
预训练：由于邻居采样基于GCN实体embedding，因此作者首先预训练GCN KG embedding模型，从而获得高质量的实体表示。具体来说，作者使用公式9的方式衡量两个实体之间的距离定义其是否应该是对齐的：
因此，GCN KG embedding预训练模型的目标如公式10所示：
其中，是一个超参，
是对齐种子，
则是负例。
3.实验
数据
表1和表2给出了本文使用的数据集统计信息。
数据30%用于训练，70%用于测试，为了验证模型在更加困难的情况下的对齐能力，作者从DBP15K的中，日，法中随机删去了部分实体，以提升实体在不同KG中的邻居差异，形成了S-DBP15K。
实验结果
OpenKG
开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文，进入 OpenKG 网站。
