论文笔记整理：吴锐，东南大学计算机学院硕士。

---

 

     

来源：ICLR 2020

链接：https://arxiv.org/pdf/1911.03082.pdf

 

动机

 

目前针对于GCN的研究大多数都关注在学习无向图的结点表示上，然而我们在研究中更常见的通常是多关系图，例如知识图谱。因此，目前的大多数方法都无法直接应用在link prediction这一类需要对关系进行embedding表示的任务上。

KG-embedding的相关研究表明可以对边和结点的表示进行联合学习，但这些方法通常都受限于以link prediction为目标来学习embedding。虽然GCN能够以特定任务为目标进行学习，但其大多数应用都被限制在无关系图上。因此，本文考虑使用KG-embedding技术来学习特定任务下的关系和结点的embedding表示，COMPGCN应运而生。COMPGCN通过联合学习多关系图中的关系与结点的向量表示来解决了传统GCN所遇到的困难。主要贡献有以下几点：

1. 提出COMPGCN，能够在GCN中对多种关系信息进行组合；

2. 证明了CompGCN可以推广出已有的多关系GCN，并且可以随着关系数量的增长而不断扩展；

3. 通过实验证明了方法的有效性。

 

背景知识

 

作者首先对一些背景知识进行了叙述，主要为针对无向图的GCN以及其对于有向图的扩展。无向图的表示如下：

             

其中V表示顶点集合，E表示边的集合，X则表示每个结点的输入特征。传统的单层的GCN可以得到如下的结点表示：

             

其中Ｗ表示模型的参数，ｆ表示激活函数，可以认为Ｈ对图中每个结点的直接邻居进行了编码。如果要获得多跳的信息，可以用多层的GCN，如下：

             

其中k表示层数，则 W^k 表示特定层的参数。

对于有向图来说，GCN的表示如下式所示：

             

其中 W_r^k 表示针对于特定关系的参数。显然，关系越多就会导致参数越多。当关系的种类非常多时，就会引入非常多的参数，不利于模型进行学习。

 

CompGCN

 

首先，对于多关系图（其实就是有向图）的表示如下：

             

其中Z表示初始的关系特征，R表示可能的关系集合。

然后对边进行扩展。简单来说，就是对所有边添加一条反向边，并为每个结点添加一条指向自己的边：

             

在前面所提到的GCN的表达式，可以写成如下的形式：

             

其中N(v)表示结点v的出边相连的结点集合。CompGCN首先对相邻接点以及对应的边进行组合操作，以此来保证特征的维度是线性的，具体的更新公式如下：

             

其中x_u和 x_r 分别指代初始的结点和关系的特征，h_v 指代结点v更新后的表示，W_lamba(r)则是特定的关系类型的参数。在CompGCN中，作者用关系的方向的来进行区分：

             

             

此外，为了统一边与结点之间的运算，作者用一个投影矩阵将边空间投影到节点空间：

             

为了避免随着关系数量的增加所带来的参数复杂性，CompGCN使用了一组基来作为可学习的基础向量，而不是为每一个关系都定义一个embedding，如下式所示：

             

其中，              表示可学习的基向量，a_br 则表示特定关系、特定基对应的可学习的权重。综上所述，最终所得到的关于结点的k层之后的CompGCN的表达式如下：

             

关于关系的k层之后的CompGCN的表达式如下：

             

用h_v^0和h_r^0表示初始的结点及关系特征。

最后，作者还分析指出，目前的很多图卷积神经网络都可以认为是CompGCN的一个特例，只不过是采取了不同的组合方式以及参数设置，如下表所示：

             

 

实验

 

作者分别在链路预测、结点分类以及图分类三个任务上进行了实验，同时在所有任务上，以Relational-GCN、Directed-GCN以及Weighted-GCN作为baseline进行对比。

1.针对链路预测任务，在FB15k-237以及WN18RR数据集上的实验结果如下：

             

可以看到在多个指标上，CompGCN都取到了最好的效果。

 

2. 作者测试了在链路预测任务上，不同的组合编码方式以及不同的评分函数所带来的不同效果，主要有以下三种组合方式：

             

其次，embedding的评分函数以及CompGCN的组合编码方式之间的关系如下图所示，可以帮助理解实验的过程：

             

 其中M代表组合编码方式，X表示评分函数，最终实验结果如下：

             

可以看到，在不同的评分函数下，CompGCN都取得了最好的效果。且ConvE+CompGCN(Corr)在所有实验中取得了最好的效果。

 

3. 作者通过调整关系数量以及基向量个数的方式，分析了CompGCN的scalability。主要分为以下几个方面：

a) 改变基向量个数带来的影响

             

可以看到模型的效果随着基向量的个数而不断提升，当取到100个基向量的时候，模型的效果与为每一种关系单独建立一个embedding的效果几乎一样。在前面的实验中我们可以看到，当取50的时候，CompGCN就能够有不错的表现了，

 

b) 改变关系数量带来的影响

             

可以看到，不管有多少个关系，CompGCN都能够取得不错的表现。

c) 与R-GCN的对比

             

 

可以看到，即使只用5个基向量，CompGCN的效果也在各种数量关系上全面优于考虑所有关系的R-GCN。

4. 针对结点分类（左）以及图分类（右）任务，实验结果如下图所示：

             

可以看到，在大部分情况下，CompGCN都取得了非常好的效果。

---

 

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。