网络嵌入的目的是将节点嵌入到低维空间中，同时捕获网络的结构和属性。虽然有很多很有前途的网络嵌入方法被提出，但大多数都集中在静态网络上。实际上，时间网络是普遍存在的，它通常是在微观和宏观动态方面随时间演化的。微观动力学详细描述了网络结构的形成过程，宏观动力学是指网络规模的演化模式。微观和宏观动态是网络演化的关键因素;然而，如何在时间网络嵌入中优雅地捕获它们，特别是宏观动态，还没有得到很好的研究。在本文中，我们提出了一种新的时间网络嵌入方法，称为M2DNE。具体地说，对于微观动力学，我们把边缘的建立看作是时间事件的发生，并提出了一个时间注意点过程来精细地捕捉网络结构的形成过程。对于宏观动力学，我们定义了一个用网络嵌入参数化的一般动力学方程来捕获内在的演化模式，并在更高的结构层次上对网络嵌入施加约束。时间网络中微观和宏观动态的相互演化交替影响学习节点嵌入的过程。在三个真实世界的时间网络上进行的大量实验表明，M2DNE不仅在传统任务(如网络重构)方面，而且在与时间趋势相关的任务(如规模预测)方面，都显著优于最先进的时间网络。

1 intorduction

• 时间网络嵌入
• 基本要求：必须保持网络结构并反映网络的时间演化
• 影响
  • 邻居对边的影响是双向的（一个边，有两个点）
  • 不同邻居影响不同
• 其他工作的缺点
  • 它们要么将演化过程简化为一系列网络快照，不能真正揭示边缘的形成顺序;
  • 或使用随机过程对邻近结构建模，忽略细粒度结构和时间特性
  • 没有做到的：学习的嵌入空间能否在时态网络中对宏观动态进行编码是时态网络嵌入方法的关键要求。但以前的工作没有
    • 原因：

更重要的是，在宏观层面上，时间网络的另一个显著特征是网络规模随着时间的推移呈明显的分布，如s形s形曲线[12]或幂律样的模式[32]。如图1所示，当网络随时间演化时，边缘不断构建，并在每个时间戳形成网络结构。因此，网络规模，即。，边的数量是随时间增长的，并且遵循一定的基本原则，而不是随机产生的。这种宏观动态揭示了时间网络的内在演化规律，对网络嵌入施加了更高结构层次的约束，即，他们决定了随着网络的发展，应该完全通过微动态嵌入来生成多少条边。宏观动力学的引入为提高网络嵌入的能力、保持网络结构和进化模式提供了有价值和有效的进化信息，这将在很大程度上增强网络嵌入的泛化能力。因此，学习的嵌入空间能否在时态网络中对宏观动态进行编码是时态网络嵌入方法的关键要求。遗憾的是，现有的时态网络嵌入方法虽然宏观动态与时态网络密切相关，但都没有考虑到这一点。

• 首次研究了时间网络嵌入中包含微观动力学和宏观动力学的重要问题。
• 我们提出了一种新的时间网络嵌入方法(M2DNE)，该方法在微观上用时间注意点过程来模拟网络结构的形成过程，在宏观上用动力学方程来约束网络结构服从一定的演化模式。
• •我们进行了全面的实验，以验证M2DNE在传统应用(如网络重建和时间链路预分配)上的优势，以及一些与时间网络相关的新应用(如规模预测)。

2. 相关工作

• 静态网络de

  • 受word2vec[18]的启发，提出了利用skipgram模型学习节点嵌入的基于随机游走的方法[9,21]。之后，
  • [22,30]被设计成更好地保存网络属性，例如高阶邻近性。
  • 也有一些基于深度神经网络的方法，如
    • 基于自编码器的方法[28,29]和
    • 基于图神经网络的方法[11,27]。此外，
  • 还有一些模型是针对异构信息网络[5,15,23]或
  • 属性网络[33]设计的。

• 时间网络嵌入的工作：时间网络嵌入有一些尝试，大致可分为两类:

  • 嵌入快照网络[6,8,14,34,35]和
    • 基本思想是学习每个网络快照的节点嵌入。具体来说，
    • DANE[14]和DHPE[35]提出了基于扰动理论的高效算法。
    • Song等人扩展了基于跳跃图的模型，提出了动态网络嵌入框架[6]。
    • DynamicTriad[34]对三元闭合过程进行建模，以捕获动态并在每个时间步长学习节点嵌入。
  • 时间演化建模
    • 试图捕获潜在嵌入的网络演化模式。[26]将图数据上的时间演化描述为关联和通信过程，提出了一种深度表示学习框架
    • TNE[37]提出了一种基于Hawkes过程的网络嵌入方法，该方法通过对邻域形成序列建模来学习节点嵌入。此外，
  • 还有一些特定于任务的时态网络嵌入方法。
    • NetWalk[31]是一种基于动态聚类算法检测网络偏差的异常检测框架。

• 与本文不同：它们都没有将微观和宏观动态集成到时态网络嵌入中。

3. 准备工作

• 条件概率密度
  

4.model

• 将微观和宏观动态集成到时态网络嵌入中。
  • 从微观角度(即，图2(a))中，我们将边的建立视为时间事件，并提出了一个时间注意点流程来捕获用于网络嵌入的细粒度结构和时间属性。
    • 边缘(如v3、v4、tj)的建立是由节点本身和它们的历史邻居(如{v1、v2、··}和{v5、v2、···})决定的，其中不同的影响通过分层的时间注意被捕获。
  • 从宏观的角度(即。，图2(b)))，网络规模的内在演化模式在更高的层次上约束着网络结构，它被定义为一个用网络嵌入来参数化的动力学方程U和时间戳t
  • 微观和宏观动态以一种相互的方式发展和派生节点嵌入(即节点嵌入)。图2 ©)。从历史结构的微观预测表明，节点v3可能与三个节点(即，三个新的时间边缘将被建立)在时间tj，而宏观动力学保留了嵌入，根据网络规模的演化模式，新边的数量限制为2条。
  • 因此，利用我们提出的M2DNE，网络嵌入可以获得更精确的结构和时间特性。

4.2 Micro-dynamics Preserved Embedding

• 建立边：
  • 当前时间：i与j的相似度高更可能建立一个边（i,j,t)
  • 另一方面，历史邻居与当前节点之间的相似性表明了过去对事件(i, j,t)的影响程度，随着时间的推移，其影响程度应该逐渐减小，并且与不同的邻居之间存在差异
    
• $$\begin{gathered} H^j(t):t之前的，j的邻居。tq为他俩还是邻居的时刻(i,q,tq) \\ \kappa =exp(-{\delta }_i(t-t_p)) \end{gathered}$$
• 过去对现在可能促进也可能抑制，所以用个函数保证他永正
  

4.2.1 分层时间关注

• 由于研究者的兴趣会随着研究热点的变化而变化，所以他的邻居的影响不是静态的，而是动态的。因此，我们提出了一种时间层次的注意机制来捕捉历史结构的这种不一致和动态的影响。
• 每个邻居的局部影响
  
• 全局所有邻居对当前事件的关注程度
  
  s-单层神经网络
• 由于注意本身是随时间网络的微观动态演化的，将注意的这两部分结合起来，可以耦合地保持注意的结构和时间特性
• 有边的概率
  
• 下面的是目标函数

4.3 Macro-dynamics Preserved Embedding

• 它决定了现在总共应该生成多少条边
• 给定一个时间网络G = (V, E, T),我们有累积的节点数n为每个节点通过时间T (T)。我,它链接其他节点(例如,节点j)连接率r (T)在时间T。根据致密化权力的法律网络演化[12日32],我们平均访问邻居$\zeta (n(T)-1{)}^{\gamma }$与线性稀疏系数ζ和幂律指数γ稀疏。因此，我们将宏观动力学定义为t时刻新边的数量
• 宏观动力学
  
  其中n (t)可以获得由时间t随着网络的发展,ζ,γ与模型优化可学的。

4.3.1链接速率

由于连接速率r(t)对网络规模[12]的演化起着至关重要的作用，它不仅依赖于网络的时间信息，还依赖于网络的结构特性。一方面，更多的边是在网络的初始阶段形成的，而增长速度随着网络的致密化而衰减。因此，连接速率应该随时间项而衰减。另一方面，边的建立促进了网络结构的演化，连接速率应与网络的结构性质有关。因此,为了捕捉时间和网络嵌入结构信息等我们参数化网络的连接速度和时间终结的术语tθ和节点嵌入

4.3.2 宏观约束

联合

由于微观和宏观动态相互驱动时间网络的演化，交替影响网络嵌入的学习过程，我们有以下模型来统一捕捉拓扑结构的形成过程和网络规模的演化模式

• 第二项：最小二乘–》梯度下降
• 第一项：计算代价高
• 重写第一项：（sigmoid
  
• 可用小批次梯度下降

5. 实验

• 准确度
• 能否抓住时间特性
• 能否预测网络规模的发展趋势