图形网络的自适应扩散 笔记

1 Title        

        Adaptive Diffusion in Graph Neural Networks(Jialin Zhao、Yuxiao Dong、Ming Ding、Evgeny Kharlamov、Jie Tang)【NIPS 2021】

2 Conclusion        

        The neighborhood size in GDC is manually tuned for each graph by conducting grid search over the validation set, making its generalization practically limited. To address this issue,this study proposes the adaptive diffusion convolution (ADC)* strategy to automatically learn the optimal neighborhood size from the data. Furthermore, this paper breaks the conventional assumption that all GNN layers and feature channels (dimensions) should use the same neighborhood size for propagation.

3 Good Sentences

        1、B  oth strategies are limited to a pre-determined and fixed neighborhood for passing and receiving messages. Essentially, these methods have an implicit assumption that all graph datasets share the same size of receptive field during the message passing process.(The limitations of previous GCN methods) 
        2、To eliminate the manual search process of the optimal propagation neighborhood in GDC, we propose the adaptive diffusion convolution (ADC) strategy that supports learning the optimal neighborhood from the data automatically. ADC achieves this by formalizing the task as a bilevel optimization problem, enabling the customized learning of one optimal propagation neighborhood size for each dataset. In other words, all GNN layers and feature channels (dimensions) share the same neighborhood size during message passing on each graph.(The motivation of this study which can solve the problems GDC meets)
        3、


为了消除GDC中最优传播邻域的人工搜索过程,我们提出了支持从数据中自动学习最优邻域的自适应扩散卷积(ADC)策略。ADC通过将任务形式化为一个双层优化问题来实现这一点,允许为每个数据集定制学习一个最优传播邻域大小。换句话说,所有GNN层和特征通道(维度)在每个图上传递消息时共享相同的邻域大小。

为了进一步实现这一目标,ADC能够从数据中自动学习每个GNN层和每个特征通道的自定义邻域大小。通过为每层学习唯一的传播邻域,ADC可以使gnn从不同的图结构中捕获邻居信息,这完全依赖于数据和下游学习目标。

同样,通过学习每个特征通道的不同邻域大小,gnn能够选择性地对每个邻居的多个特征信号进行建模。总之,ADC使gnn与图结构和所有特征通道完全耦合。

 Neighborhood Radius in GNNs

        本文研究了半监督节点分类问题。输入包括无向网络G = (V;E),其中节点集V包含n个节点,E为边集,A∈R^{n\times n}为图G的对称邻接矩阵。给定输入特征矩阵X和节点标签Y的一个子集,任务是预测剩余节点的标签。

 Neighborhood Radius in Message Passing Networks:

        在消息传递网络中,每个节点会收集来自其邻居节点的特征信息,并将这些信息聚合起来以更新自己的状态。消息传递网络可以简单定义为:

这个过程通常在图神经网络的每一层中进行。"Neighborhood Radius" 指的是在消息传递过程中,一个节点能够聚合多远距离邻居的信息。其中,H(l)表示第l层的隐藏特征,H(0)=X, X为输入特征的第1层隐藏特征,\varphi(·)表示特征变换,γ(·)表示特征传播。

特征转换函数描述了特征如何在每个节点内部转换,特征传播函数描述了特征如何在节点之间传播。

,D为对角线上的元素是节点的度的矩阵\tilde{H}表示变换后的隐特征,不过GCN使用带有自循环的邻接矩阵A。

大多数基于图的模型都可以表示f(T)=

邻居半径r被定义为:\theta _k表示k个步距节点的影响。对于较大的r,这意味着模型更强调远距离节点,即全局信息。对于较小的r,这意味着模型放大了局部信息。对于GCN,邻域半径r = 1

Neighborhood Radius in Graph Diffusion Convolution

图扩散卷积(GDC)的传播解决了从离散跳数的特征传播到连续图扩散的推广问题:,k从0到无穷求和,使得每个节点都聚集了整个图的信息。而权重系数满足,这样在传播过程中信号强度不会被放大或减弱。论文原句:In this work, we focus on heat kernel,也就是说作者令

HK:热核将先验知识引入到GNN模型中,这意味着特征在节点之间的传播遵循牛顿冷却定律,即两个节点之间的特征传播速度与它们之间的特征差成正比。在形式上,这种先验知识可以描述为:

        其中N(i)表示节点i的邻域,x_i(t)表示节点i在扩散时间t后的特征。微分方程可解为:,X(t)为扩散时间t后的特征矩阵,是热核

Neighborhood radius r_h in diffusion models

        根据邻域半径的定义,GDC的热核版本邻域半径r_h的定义为:

这表明t是基于热核的GDC的邻域半径,即t成为多跳数模型中跳数(hop-number)的完美连续替代。

Adaptive Diffusion Convolution

        其中,拉普拉斯矩阵L=I-T,对于每个图数据集,需要手动网格搜索步骤来确定与邻域半径相关的参数t,此外,对于每个数据集中的所有特征通道和传播层,t是固定的。

Training Neighborhood Radius

上图显示了学习t的训练过程。随着epoch的增加,在训练集(蓝色)上学习时,t和训练损失都减小。同时,验证和测试精度急剧下降,因为t趋于零(更多的epoch) -表示每个节点只能使用自己的特征来预测标签, 也就是说,直接在训练集上学习t会导致过拟合。

为了解决这个问题,本文提出了一种通过在验证集上使用模型的梯度来训练t的方法。该模型的目标是找到使验证损失,其中w表示特征变换函数中所有其他可训练参数,w *表示使训练损失。该策略可以形式化为一个双层优化问题

如果按上面的方法,每次更新t时,需要使w收敛到最优值,这就太贵了。一种近似方法是每次更新w时更新t,也就是说,,其中,e表示训练epoch的个数,α1和α2分别表示训练集和验证集的学习率。

Training Neighborhood Radius for Each Layer and Channel:

对于GDC, 一个数据集有一个邻域半径t,即所有GNN层和所有特征通道(维度)都有相同的t。先前模型无法实现这一目标的障碍在于,考虑到随着参数数量的增加,时间复杂度呈指数增长,对每个特征通道和GNN层的传播函数分别进行手动调整或网格搜索是不可行的挑战。然而,前面提到的在模型训练过程中更新t的策略使得ADC能够自适应地学习所有层和所有特征通道的特定t。本文通过将特征传播函数扩展到每个层和通道,即从t到t_i^{(l)},得到自适应扩散卷积(ADC),,其中t_i^{(l)}表示第l层和第i通道的邻域半径t,\hat{H}_i表示隐藏特征\hat{H}的第i列,即通道i上的特征,表示第l层和第i通道上的特征传播函数.

Generalized adaptive diffusion convolution (GADC):

        在不损失一般性的情况下,可以将ADC扩展为广义ADC (GADC),即不将权系数θk限制为热核。因此,得到GADC的特征传播为:

式中,\theta ^{(l)}_{ki}表示第l层和第i通道上k跳邻居的权系数。

Results

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/9701.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AXI4写时序在AXI Block RAM (BRAM) IP核中的应用

在本文中将展示描述了AXI从设备(slave)AXI BRAM Controller IP核与Xilinx AXI Interconnect之间的写时序关系。 1 Single Write 图1是一个关于32位宽度的BRAM(Block RAM)的单次写入操作的例子。这个例子展示了如何向地址0x1000h…

MySQL——变量的浮点数问题处理

新建链接,自带world数据库,里面自带city表格。 DQL #MySQL变量的浮点数问题处理 set dx3.14,dy3.25; select dxdy;#计算显示异常,会有很多00000的提示set resultdxdy; select result; 查询结果

C++青少年简明教程:C++中的常量、变量、表达式和语句

C青少年简明教程:C中的常量、变量、表达式和语句 在C编程中,常量、变量、表达式和语句是基本的编程概念。 常量(Constants):在程序中具有固定值的数据称为常量。常量可以是字面值,如整数、浮点数、字符或…

【挑战30天首通《谷粒商城》】-【第一天】【10 番外篇】 解决docker 仓库无法访问 + MobaXterm连接VirtualBox虚拟机

文章目录 课程介绍 1、解决docker 仓库无法访问 2、 MobaXterm连接VirtualBox虚拟机 Stage 1:下载MobaXterm选择适合你的版本 Stage 2:vagrant ssh 连接,开启ssh访问 Stage 2-1:su获取root账号权限,输入密码(默认vagra…

【Web】CTFSHOW 七夕杯 题解

目录 web签到 easy_calc easy_cmd web签到 CTF中字符长度限制下的命令执行 rce(7字符5字符4字符)汇总_ctf中字符长度限制下的命令执行 5个字符-CSDN博客7长度限制直接梭了 也可以打临时文件RCE import requestsurl "http://4ae13f1e-8e42-4afa-a6a6-1076acd08211.c…

C++ Builder XE EnumWindowsProc遍历所有窗口的名称

BOOL CALLBACK EnumWindowsProc(HWND hwnd, LPARAM lParam) { // 这里可以添加你的处理逻辑 // 例如,将句柄添加到列表中或者其他操作 // 这里我们仅仅输出到调试窗口 OutputDebugString(L"枚举窗口句柄: "); char windowHandle[10];…

ICode国际青少年编程竞赛- Python-4级训练场-while语句入门

ICode国际青少年编程竞赛- Python-4级训练场-while语句入门 1、 while Flyer.disappear():wait() Dev.step(2)2、 Dev.step(1) while Flyer.disappear():wait() Dev.step(5)3、 while Flyer[0].disappear():wait() Dev.step(3) Dev.step(-1) while Flyer[0].disappear():…

准实时数仓搭建指南:以仓储式会员商超为模拟场景

在电商和新零售持续冲击传统零售商超的今天,仓储式会员店反而成功逃脱曾经的“水土不服”预测,业绩一路向好。与此同时,随着人工智能、大数据、智慧物流等技术的不断革新,零售批发的消费场景也进一步拓展,对数据分析的…

RERCS系统-WDA+BOPF框架实战例子 PART 1-新建List UIBB(列表组件)并分配Feeder Class和Node Element

需求背景: 已有的项目主数据功能,新增一个列表UIBB显示主数据额外的关联数据明细。 1、Fiori页面通过右键-技术帮助打开对应的组件配置; 2、双击对应的组件配置,调整对应的页面新建UIBB; 3、填写对应的UIBB属性字段&a…

doris 启动be报错

doris版本是1.2.4 java版本是:1.8 刚开始我以为是版本不兼容问题,后面发现思路错了,版本是兼容的,报以下错我的原因是操作系统没有达到安装要求 以下是博主在部署doris x64(avx2)版本中遇到的小bug 在大家使用doris的时候应该…

OpenNJet,够轻更强云原生应用引擎

前言: 在正式介绍OpenNJet之前,我们先来看看它的技术架构,如下图所示,OpenNJet正是NGINX的Pro版,在100%兼容NGINX基础上,新增了动态配置加载、主动式健康检测、集群高可用、声明式API等多种强大功能。 NGIN…

2024.05.10作业

TCP服务器 头文件 #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTcpServer> #include <QTcpSocket> #include <QList> #include <QMessageBox> #include <QDebug>QT_BEGIN_NAMESPACE namespace Ui { class Widget; …

【神器来袭】快速解放双手,朋友圈自动转发工具,告别繁琐操作!

朋友圈作为一个重要的营销推广渠道&#xff0c;如果能实现自动转发&#xff0c;那对于很多企业或个人来说&#xff0c;是极好的。下面&#xff0c;就给大家分享一个实用且便捷的朋友圈运营工具——个微管理系统&#xff0c;让大家都能快速推广。 1、多账号登录&#xff0c;定时…

适用于 macOS 的最佳独立 HBO Max 客户端

适用于 macOS 的最佳独立 HBO Max 应用程序。不再在浏览器选项卡之间切换。只需直接从 Dock 启动 Clicker for HBO Max 即可开始狂欢。 HBO Max 客户端 Clicker for HBO Max 下载 Clicker for HBO Max mac版安装教程 软件下载完成后&#xff0c;双击pkg根据提示进行安装 Clic…

ssh远程免密登录

ssh远程连接分为五个阶段 版本号协商阶段密钥和算法协商阶段认证阶段会话请求阶段交互会话阶段 而上图的SessionKey即是在阶段2&#xff1a;密钥和算法协商阶段&#xff0c;服务器端和客户端利用DH交换&#xff08;Diffie-Hellman Exchange&#xff09;算法、主机密钥对等参数…

编译适配纯鸿蒙系统的ijkplayer中的ffmpeg库

目前bilibili官方的ijkplayer播放器&#xff0c;是只适配Android和IOS系统的。而华为接下来即将发布纯harmony系统&#xff0c;是否有基于harmony系统的ijkplayer可以使用呢&#xff1f; 鸿蒙版ijkplayer播放器是哪个&#xff0c;如何使用&#xff0c;这个问题&#xff0c;大家…

暴力法解决最近对问题和凸包问题-实现可视化

目录 最近对问题 凸包问题 最近对问题 顾名思义就是采用蛮力法求出所有点之间的距离&#xff0c;然后进行比较找出第一个最近对&#xff0c;一个一个进行比较。 大概思路就是如图&#xff08;每个圈代表一个数对&#xff09; 第一个和其他四个比较 第二个和其他三个比较 …

新版文件同步工具(Python编写,其中同时加入了多进程计算MD5、多线程复制大文件、多协程复制小文件、彩色输出消息、日志功能)

两个月前&#xff0c;接到一个粉丝的要求&#xff0c;说希望在我之前编写的一个python编写的文件同步脚本(Python编写的简易文件同步工具(已解决大文件同步时内存溢出问题)https://blog.csdn.net/donglxd/article/details/131225175)上加入多线程复制文件的功能&#xff0c;前段…

英语学习笔记8——What‘s your job?

What’s your job? 你是做什么工作的&#xff1f; 词汇 Vocabulary policeman 男警察 policewoman 女警察 police n. 警力 集合名词&#xff0c;永表复数 西方国家警察管的事很多。交警&#xff0c;刑警&#xff0c;武警一般不分开。 taxi driver 出租车司机 taxi / cab n.…

空间复杂度

前言 通过上一节的学习&#xff0c;我们知道了衡量一个算法是否高效的标准就是复杂度&#xff0c;我们已经学习了时间复杂度&#xff0c;那么本节我们就了解一下空间复杂度的相关知识&#xff0c;那么我们废话不多说&#xff0c;正式进入今天的学习 空间复杂度 空间复杂度也是…