这篇论文介绍了一种用于建模Web规模异构图的异构图变换器(HGT)架构。以下是主要的要点:
摘要和引言 (第1页)
- 异构图被用来抽象和建模复杂系统,其中不同类型的对象以各种方式相互作用。
- 许多现有的图神经网络(GNNs)主要针对同构图设计,无法有效表示异构结构。
- HGT通过设计节点和边类型相关的参数来模拟异构注意力,从而允许HGT为不同类型的节点和边保持专用的表示。
- 通过使用HGSampling(异构小批量图采样算法),HGT能够有效和可扩展地处理Web规模的图数据。 在Open Academic Graph上的实验显示,HGT在各种下游任务上一致优于所有最先进的GNN基线。
HGT架构(第2页和第3页)
-
异构互注意力(Heterogeneous Mutual
Attention):HGT通过将目标节点映射到查询向量,将源节点映射到键向量,并计算它们的点积作为注意力。每个元关系(即,<源节点类型,边类型,目标节点类型>三元组)应具有不同的投影权重集。这允许模型捕捉到不同类型的节点和边之间的不同语义关系,同时通过使用更小的参数集来保持它们的特定特征。 -
异构消息传递(Heterogeneous Message
Passing)