【UGCN】论文提出一个基本问题，即是否不同的网络结构属性应该采用不同的传播机制。通过实验发现，对于完全同配性、完全异配性和随机性的网络，1-hop、2-hop和k-nearest neighbor（kNN）邻居分别更适合作为信息传播的邻域。为了应对现实世界网络的复杂性，作者提出了一种新的通用GCN框架——UGCN。该框架通过多类型卷积同时提取1-hop、2-hop和kNN网络的信息，然后设计一种判别式聚合来充分融合这些信息，以满足给定的学习目标。

本文发表在2021年NeurIPS会议上，作者学校：天津大学、北京邮电大学、美国伊利诺伊香槟大学，引用量：80。

NeurIPS会议简介：全称Conference on Neural Information Processing Systems（神经信息处理系统大会），机器学习和计算神经科学领域的顶级学术会议，CCF A。

查询会议：

• 会伴：https://www.myhuiban.com/

• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://openreview.net/forum?id=MSXDyfli9vy
• 开源代码：https://github.com/jindi-tju/U-GCN

 

0、核心内容

图卷积网络（GCNs）旨在通过聚合相邻节点来获得节点的表示，在处理图（网络）数据上的各种分析任务方面显示出了巨大的能力。GCNs的显著性能通常依赖于网络的同质性假设，而这种假设并不能总是得到满足，因为异配性或随机性在现实世界中也普遍存在。这就引出了一个基本问题：具有不同结构属性的网络是否应该采用不同的传播机制？

在本文中，我们首先进行了一个实验研究。令人惊讶的是，我们发现传播机制实际上存在分割规则，即1跳、2跳和k最近邻（kNN）邻居分别更适合于具有完全同质性、完全异配性和随机性的网络邻域。然而，现实世界的网络是复杂的，并且可能呈现出不同的结构属性，例如，由同质性主导的网络可能包含少量的随机性。那么，我们能否合理地利用这些分割规则来设计一个独立于网络结构假设的通用传播机制呢？

为了应对这一挑战，我们开发了一个新的通用的GCN框架，即UGCN。首先引入了多类型卷积，同时从1跳、2跳和kNN网络中提取信息，然后设计了一个判别聚合来充分融合它们，以达到给定的学习目标。

大量的实验证明了UGCN优于最先进的技术。

（引自摘要）

 

1、展开研究

① 本文贡献

现有方法从传播机制的角度来看，仍然缺乏深刻的理解。

作为本研究的第一个贡献，我们进行了实验，分析了GCN在具有不同结构性质的网络中的传播机制。令人惊讶的时，我们的实验清楚地表明，对于具有完全同质性、完全异配性和随机性的网络，1跳、2跳和k最近邻（kNN）邻居分别更适合作为信息传播的邻域。这意味着对GCNs当前传播机制的描述能力有限，具有不同结构特性的网络可能需要采用不同的传播机制。

事实上，虽然这些分割规则似乎能够以一种理想的方式选择合适的节点作为邻域，但现实世界的网络是复杂的，并且可能呈现出不同的属性，例如，由同质性主导的网络可能包含少量的随机性或异配性。一个自然的问题是，“我们能否合理利用这些分割规则来设计一个独立于网络结构假设的通用传播机制？”

为了解决这一挑战，我们提出了一个新的通用的GCN模型，即UGCN，针对一般的网络数据。其中心思想是，我们通过充分利用来自1跳、2跳和KNN邻居的信息来学习节点嵌入，并自适应地融合它们，为给定的学习目标获得更深层次的相关信息。具体来说，我们首先引入了一种多类型的卷积机制。它使用1跳网络（即原始输入网络）、2跳网络和由1跳、2跳和kNN邻居构建的网络分别进行直接信息传播，并对每个网络采用节点级注意机制，提取三种特定的嵌入。然后，我们进行区分聚合来了解这三种嵌入的重要性，从而提取出最相关的信息，如节点分类。

在一系列基准数据集上的大量实验证明了UGCN优于一些先进的技术。

② 观察&动机

在这里，我们提出了一个简单而直观的案例研究来说明和分析不同传播机制下的GCN变化的性能。其主要思想是将GCN应用于具有不同结构属性的网络，利用1跳节点、2跳节点和k最近邻（kNN）邻居，它们通常被认为是网络中节点分类的有效邻域，分别实现信息的传播。然后，我们将检查GCN在这些情况下的性能。通用传播机制应该在一般网络数据中提供良好的结果。然而，如果与其他两种情况相比，性能急剧下降，这将表明具有不同结构属性的网络可能需要使用不同的传播机制。

实验设置：

• 我们在具有不同性质的Newman人工网络上进行了实验。该网络由128个节点组成，分为4类，每个节点平均有$z_{in}$个边（即类内边）连接到同一类的节点，$z_{out}$个边（即类间边）连接到其他类的节点，且$z_{in}+z_{out}=16$。请注意，这里我们利用两个指标：${\rho }_{in}=z_{in}/32$和${\rho }_{out}=z_{out}/96$来确定网络属性，即${\rho }_{in}>{\rho }_{out}$，${\rho }_{in}={\rho }_{out}$和${\rho }_{in}<{\rho }_{out}$分别是指具有同配性、随机性和异配性的网络。
• 对于节点属性，我们为每个节点生成一个4h维的二进制属性，形成4个属性簇，对应于4个类。

图1：GCN在Newman网络上分别使用不同的传播机制：1-hop、2-hop、kNN邻居作为邻域的性能。

如图1所示，对于具有较强同配性的网络（如${\rho }_{out}=0.075$），使用1-hop邻居更容易获得较高的精度。然而，随着类间边的增加，精度迅速降低。这主要是由于同质性假设阻止了GCN有效地融合信息。另一方面，对于具有强异配性的网络（如${\rho }_{out}=0.165$），令人惊讶的是，使用2-hop邻居作为邻域的GCN精度（如83.15%）远高于使用1-hop邻居的GCN精度（如32.85%）。由于2-hop邻居的同质性比例可能随着类间边的增加而增加，因此使用2-hop邻居的GCN在一定程度上更有效。有趣的是，我们可以发现利用kNN的GCN更容易获得稳定精度，如71.46%。特别是，它比在完全随机网络上（如${\rho }_{out}=0.125$）使用1-hop和2-hop邻居要高得多。

**结论：**本案例研究表明，目前GCN的传播机制对于一般的网络数据并不普遍，但我们可以发现在几种特殊情况下（如完全随机网络）存在规律。这促使我们认为，具有不同结构属性的网络可能需要采用不同的传播机制。

我们利用GCN对具有完全同配性、随机性和完全异配性的Newman网络进行了额外的实验，以发现更适合的传播机制来选择有价值的节点作为邻域，从而提高不同网络的网络性能。一个简单的策略是学习针对不同的GCN使用不同类型邻域的节点的网络嵌入（即1-hop、2-hop和kNN邻居），并将嵌入连接到一个向量，以便使用鉴别聚合机制（discriminative aggregation mechanism）来学习节点分类的重要性。我们在图2中显示了注意力值作为训练迭代次数的函数。

图2：一个例子，说明了三种不同类型的邻居即1-hop、2-hop和kNN邻居）的重要性随着网络属性的变化而变化。A-C的上半部分分别表示具有完全同配性、随机性和完全异配性的网络；而下半部分表示注意值（attention values）作为相应网络中训练迭代次数的函数。

• 观察A：具有完全同配性的网络利用1-hop邻居进行直接信息传播，可以获得更好的性能。
• 观察B：利用kNN进行直接信息传播，可以获得更好的性能。
• 观察C：具有完全异配性的网络利用2-hop邻居进行直接信息传播，可以获得更好的性能。

虽然具有不同结构属性的网络利用不同的传播机制提供更好的性能，但现实世界的网络是复杂的，可能表现出不同的特性，例如，以同配性为主的网络可能包含少量的异配性。因此，探索一种独立于网络结构假设的通用传播机制是非常必要的。

 

2、UGCN原理

① 多类型卷积机制（Multi-type Convolution Mechanism）

• 作者提出了一种新的卷积机制，用于捕获来自2-hop和kNN邻居的信息。
• 构建了基于原始输入网络的2-hop网络（$G_R$）和基于节点特征矩阵的kNN网络（$G_F$）。
• 描述了如何使用2-hop网络和kNN网络进行信息传递，并使用节点级注意力机制来提取特定嵌入。

② 2-hop网络

• 为了处理2-hop网络的邻接矩阵，作者引入了一个约束，选择通过至少两条不同路径连接的节点对来设置边。
• 使用经典的两层GCN在2-hop网络上执行消息传递。

③ kNN网络

• 使用余弦相似度计算节点间的相似性矩阵，然后基于相似性选择每个节点的k个最近邻。
• 描述了如何通过选择节点对来获得邻接矩阵，并计算从kNN获得的信息。

④ 节点级注意力（Node-level Attention）

• 在聚合来自原始输入网络、2-hop网络和kNN网络的信息之前，使用节点级注意力机制来学习每个节点的网络邻居对目标节点嵌入的贡献度。
• 定义了节点对之间的重要性系数，并使用Softmax函数来计算权重。

⑤ 判别式聚合（Discriminative Aggregation）

• 在多类型卷积之后，作者执行力一种判别式聚合，使用注意力机制自动学习1-hop、2-hop和kNN邻居的重要性。
• 描述了如何计算每个网络的注意力值，并通过Softmax函数进行归一化以获得最终权重。

⑥ 损失函数

• 遵循GCN的做法，定义了使用交叉熵的损失函数。

这一部分和核心贡献是提出了一种新的GCN模型，该模型不依赖于网络的结构假设，能够自适应地从1-hop、2-hop和kNN邻居中提取和融合信息，以提高在不同类型网络上的性能。

 

3、实验

节点分类的实验结果：

消融实验的实验结果：

其中，U-GCN-1采用2-hop邻居进行直接传播，U-GCN-2采用kNN邻居进行直接传播，U-GCN-3相比于U-GCN删除了2-hop的邻居信息。

 

4、启发&心得

【UGCN】算法特别简单，感觉这篇文章发在NeurIPS上有点水，但因为是2021年，刚开始出现异配图神经网络的研究，实验结果也还不错，因此引用量还比较多。赶早发paper就是好啊。

本文的理论部分非常简单，简单地说就是判断学习1-hop邻居、2-hop邻居和kNN邻居哪一个可以获得更高的预测精度，然后给这些信息分配权重再进行预测（没看这篇paper的时候我们也想到了，可恶）。需要注意的是这里的kNN邻居不是k-hop邻居，而是“使用余弦相似度计算节点间的相似性矩阵，然后基于相似性选择每个节点的k个最近邻。”

 

5、参考资料

• kimi：https://kimi.moonshot.cn/