知识图谱最新权威综述论文解读：时序知识图谱部分

从最近一两年有关知识图谱的顶会论文中可以发现，越来越多的国内外研究者开始关注动态时序知识图谱，可见时序知识图谱已经成为了一大研究趋势，相信之后会有更多相关研究出来。因此，这期我们对综述论文的时序知识图谱部分接着进行解读，同时泽宇给出一些时序知识图谱的研究现状。

当前的知识图谱的研究主要集中在事实不随时间变化的静态知识图谱上，而知识图谱的时序动态性则很少被研究。但是，时间对于表示知识非常重要，因为结构化知识仅在特定时期内有效，事实的发展遵循时间顺序。最近的一些研究开始将时间信息纳入知识图谱表示学习和知识图谱补全中。为了同时学习时间和实体关系的嵌入，已经进行了一些研究工作。

1 时序信息嵌入

通过将常见的形式为（h，r，t）的三元组扩展为（h，r，t，τ）的时序四元组，可以在时间感知嵌入中考虑时间信息，其中τ提供有关何时事实能够成立的额外时间信息。Leblay和Chekol [1] 研究了带时间标注的三元组的时间范围预测，并简单地扩展了现有的嵌入方法，例如，定义了基于向量的TTransE算法：

时间范围内的四元组通过添加时间范围[τs，τe]来扩展三元组，其中τs和τe代表三元组有效期的开始和结束时间点，然后，如果给定了静态子图Gτ，则可以从动态知识图谱得出特定时间戳τ。HyTE [2] 将时间戳表示为超平面wτ并将实体和关系表示投影在超平面上得到新的表示为

时序投影后的打分函数为：

这时，我们的期望约束条件为：

Garc´ıa-Duran等 [3] 将谓词序列token和时间序列token进行了拼接，并使用LSTM编码拼接后的时间感知谓词序列。LSTM的最后一个隐层状态作为时间感知的关系嵌入表示rtemp 。进一步，设计扩展的TransE和DistMult的打分函数分别为

通过将一个实体e的上下文定义为一个包含e的事实的集合，Liu等人[4] 提出了上下文选择机制以捕捉有用的上下文信息，并测量其与选定的上下文信息的时间一致性。

2 动态实体

现实发生的事件会改变实体的状态，并因此影响对应的关系。为了提高时序推理能力，上下文时序轮廓模型[5] 将时序问题建模为状态变化检测，并且使用上下文信息来学习状态和状态变化向量。Knowl-evolve[6] 是一个深度演化知识网络，能够发掘实体和关系的知识演化趋势。一个多多元时间点过程被用来建模事件的发生，并且提出一个新的循环神经网络来学习非线性时序演化的表示。为了取得节点之间的交互，RENET [7] 利用基于RNN的事件编码器和邻居聚合器建模了事件序列。具体来说，RNN用于捕捉动态实体交互，并发交互可以由邻域聚合器聚合得到。

3 时序关系的依存

根据时间线，关系链条中存在时序依存的特性，例如，wasBornIn →graduateFrom → workAt → diedIn这样一个关系链条，其中的关系由于存在时序依存约束所以需要满足一定的先后顺序。Jiang 等人 [8], [9] 提出时间感知的嵌入，这是一种考虑时序正则约束的联合学习框架，为了能够结合时间的次序和一致性信息。研究者定义了一个时序打分函数

这里

是一个能够编码时序关系对的对称矩阵。并且作者能够将不相交、有序和跨度这三个时间一致性约束进一步通过整形线性规划应用在时序关系的建模中。

4 时序逻辑推理

逻辑规则也能够用于时序推理。Chekol 等人[10] 在不确定性时序知识图谱上将马尔可夫逻辑网和概率软逻辑用于时序推理。RLvLR-Stream模型[11] 考虑时序封闭路径规则，能从知识图谱的时序变化中学习规则的结构并用于推理。

5 时序知识图谱Github项目

泽宇发现GitHub上也有一些比较好的时序知识图谱相关的项目，在这里分享给大家：

时序知识图谱补全综述：

https://github.com/woojeongjin/dynamic-KG

时序与演化知识图谱综述：

https://github.com/shengyp/Temporal-and-Evolving-KG

HyTE：

https://github.com/malllabiisc/HyTE

Know-Evolve：

https://github.com/rstriv/Know-Evolve

RENET：

https://github.com/INK-USC/RE-Net

参考文献

[1] J. Leblay and M. W. Chekol,“Deriving validity time in knowledge graph,” in WWW, 2018, pp. 1771–1776.

[2] S. S. Dasgupta, S. N. Ray, andP. Talukdar, “Hyte: Hyperplanebased temporally aware knowledge graphembedding,” in EMNLP, 2018, pp. 2001–2011.

[3] A. Garc´ıa-Duran, S. Duman´cic, and M. Niepert, “Learning sequence encoders for temporal knowledge graph completion,” in EMNLP, 2018, pp. 4816–4821.

[4] Y. Liu, W. Hua, K. Xin, and X.Zhou, “Context-aware temporal knowledge graph embedding,” in WISE, 2019, pp.583–598.

[5] D. T. Wijaya, N. Nakashole, andT. M. Mitchell, “CTPs: Contextual temporal profiles for time scoping factsusing state change detection,” in EMNLP, 2014, pp. 1930–1936.

[6]R. Trivedi, H. Dai, Y. Wang,and L. Song, “Know-evolve: Deep temporal reasoning for dynamic knowledge graphs,” in ICML, 2017, pp. 3462–3471.

[7] W. Jin, C. Zhang, P. Szekely,and X. Ren, “Recurrent event network for reasoning over temporal knowledge graphs,” in ICLR RLGM Workshop, 2019.

[8] T. Jiang, T. Liu, T. Ge, L.Sha, B. Chang, S. Li, and Z. Sui, “Towards time-aware knowledge graph completion,” in COLING, 2016, pp. 1715–1724.

[9] T. Jiang, T. Liu, T. Ge, L.Sha, S. Li, B. Chang, and Z. Sui, “Encoding temporal information for time-aware link prediction,” in EMNLP, 2016, pp. 2350–2354.

[10] M. W. Chekol, G. Pirro, J.Schoenfisch, and H. Stuckenschmidt, “Marrying uncertainty and time in knowledge graphs,” in AAAI, 2017, pp. 88–94.

[11] P. G. Omran, K. Wang, and Z.Wang, “An embedding-based approach to rule learning in knowledge graphs,” IEEE TKDE, pp. 1–12, 2019.