论文浅尝 - ICLR2020 | 知识图谱中数值规则的可微学习

论文笔记整理：许泽众，浙江大学博士研究生。研究方向：知识图谱，规则挖掘等。

论文链接：https://openreview.net/pdf?id=rJleKgrKwS

本文解决的是规则的学习问题，学习出来的规则可用于知识推理任务，例如链接预测等。

KG上的规则捕获了数据中可解释的模式，并且可以用于KG的清洗和补全。

可微逻辑框架TensorLog将规则推理编译成了可微的操作序列。受TensorLog的启发，Neural LP方法可用于学习参数和规则的结构。然而，它在处理age, weight, scicentific measurements等数字特征方面受限。本文提出Neural LP的扩展，可实现对数值规则的快速学习。在通用的Neural LP方法中，数值规则会导致稠密的矩阵操作，使用动态规划和累积求和运算，有效地表达了用于数值比较的操作符。同时作者还设计了否定、聚合等操作符，总体上使得规则形式更加丰富。

最后在多个KG数据集上进行了实验，证明了本文的方法和Neural LP方法相比，可以更准确地回答queries，并且比state-of-the-art的规则抽取方法准确率更高。在两个合成的真实数据集上进行了实验，证明了本文的方法可以依赖于数值信息更准确地恢复出规则，以实现在KG上进行更精准的链接预测。和纯图嵌入方法不同的是，本文的方法抽取出的规则仍然具有可解释性。

考虑图中所示的KG和如下的规则：

这个规则表示学生受有较高引用量的导师的同事的影响。

原始的Neural LP框架不能直接支持有数值的事实：简单的做法是将数值常量作为实体，但这将会非常难以处理，因为各自矩阵中非零的元素值非常非常多。类似地，朴素的处理否定原子的操作会引入操作不可行的稠密矩阵。

本文方法的主要思想是：隐式地表示必要的矩阵操作，可以使用动态规划、累积求和和排列（用于数值比较特征），也可以使用低秩分解（用于否定原子）。所谓隐式操作就是指不需要完全重现操作符的具体数据，只需要能够得到操作符和向量相乘得到的结果即可。作者设计了以下操作符：

（1）Pair-wise Comparison

这一矩阵是针对KG上所有包含p , q实体对的，因此通常是稠密的，因此朴素的具体化将超过GPU内存的限制。而且，在现实中通常不需要明确地具体化TensorLog的关系矩阵。上面提到的Neural LP推理链中，所需要做的就是有效地计算关系矩阵和表示推理链中当前概率的某个向量之间的matrix-vector积，这就是隐式的意思：

考虑到特殊的情况：p和q都以升序进行排列:

γ值可以预先在CPU上进行计算，使用动态规划可以实现线性的复杂度。

考虑一般的情况，也就是p , q没有进行排序：

（2）分类操作符

作者也考虑到了更多的一般规则，在这种规则中，不一定非要对实体的两个数值属性间进行比较，也可以对这些属性的functions进行比较。通过在之上施加聚合函数 F 去达到多个属性操作聚合作用的效果，例如下面一条逻辑表达式：

其中 F 代表的聚合操作就是由两种基础的属性比较操作的某种联合作用，聚合函数可用任意的神经网络来替换，文中使用了简单的MLP。

（3）否定操作符（Negated Operators）

使用了局部封闭世界的假设（local closed-world assumption），因为封闭世界假设不符合KG的使用场景，开放世界假设对操作符取反之后全为0没有意义。对于给定的操作符矩阵M，对那些要被翻转的元素进行了限制，即要被翻转的元素所在的行至少要有一个非零元素。

实验部分如下：

1、数据集

2、实验任务：链接预测

3、对比方法

本文的方法称为Neural-Num-LP，和以下两个baselines进行对比：

AnyBURL：用于学习Horn规则的自底向上的方法（Horn规则：例如只有positive atoms没有比较操作符的规则）；
Neural-LP：可微的规则学习系统。

4、实验结果

本文的方法和baselines对比的实验结果：

实验结果可以看出，本文基于Neural-LP拓展出的方法Neural-Num-LP在自造的数据集上，达到了一种很好的效果，而另外俩个相关的baseline因为没有加入数值推理的逻辑，所以效果不行；同时，在俩个标准知识图谱上，Neural-Num-LP也能达到一个较好的效果，体现出框架的一方面很好的保存了关系推理的功能，又较好的建模了数值推理的逻辑。