用于半监督的图扩散网络 笔记

1 Title        

        Graph Neural Diffusion Networks for Semi-supervised Learning(Wei Ye, Zexi Huang, Yunqi Hong, and Ambuj Singh)【2022】

2 Conclusion

        This paper proposes a new graph neural network called GND-Nets (for Graph Neural Diffusion Networks) that exploits the local and global neighborhood information of a vertex in a single layer. Exploiting the shallow network mitigates the over-smoothing problem while exploiting the local and global neighborhood information mitigates the under-smoothing problem. The utilization of the local and global neighborhood information of a vertex is achieved by a new graph diffusion method called neural diffusions, which integrate neural networks into the conventional linear and nonlinear graph diffusions. 

3 Good Sentences

        1、Graph Convolutional Networks (GCN) is a pioneering model for graph-based semi-supervised learning. However,GCN does not perform well on sparsely-labeled graphs. Its twolayer version cannot effectively propagate the label information to the whole graph structure (i.e., the under-smoothing problem)while its deep version over-smoothens and is hard to train
(i.e., the over-smoothing problem).(The problems of previous GCN methods meet)
        2、JK-Nets proposes to aggregate the output of each layer by skipping connections.
It selectively exploit information from neighborhoods of different locality. Indeed, the performance of GCN is improved by aggregating the output of each layer, but not significantly. One reason is that the deep GCN model with many graph convolutional layers is hard to train.(The reason why previous improvements of GCN only had little role)        
        3、Differing from traditional linear graph diffusions such as the personalized PageRank diffusion and the heat kernel diffusion, the weighting parameters in neural diffusions are not fixed but learned by neural networks, which makes neural diffusions adaptable to different datasets.(The advantages of GND-Nets expect exploiting the shallow network mitigates the over- smoothing problem while exploiting the local and global neighborhood information mitigates the under-smoothing problem)
        4、Considering that the multiplication of matrices in Eqn. (1) has a high time complexity (O(n^2)) and the eigendecomposion of L is prohibitively expensive (O(n^3)) especially for large
graphs, we can circumvent the problem by approximating gθ by a truncated expansion in terms of Chebyshev polynomials T_k(x) up to the K-th order.(The solution of the problem of excessive time complexity)


图卷积:,其中x∈R^n是顶点上的信号(特征向量),g_\theta\Lambda上的光谱滤波器,由θ∈R^n参数化,U^Tx是信号x的图形傅里叶变换。这个公式的时间复杂度比较大 O(n^3),可以通过用切比雪夫多项式T_k(x)直到K阶的截断展开式逼近g_\theta来解决这个问题:,\tilde{\Lambda }=\frac{2}{\lambda _{max}}\Lambda -I\lambda _{max}L的最大特征值,θ ∈R^K是切比雪夫系数的向量,那么图卷积公式可以写成:,这个公式是K局部化的,即,它仅依赖于与中心顶点相距最大K跳距离的顶点(K阶邻域),其时间复杂度为O(e),e是图的边数。

通过设置K = 1和λmax = 2,GCN简化了方程:,再通过设置\theta =\theta _0 =- \theta _1并使用L_{sym},公式可以被改写为:,因为的范围在0~2之间,重复这一学习规则将导致深度神经网络中的数值不稳定性和爆炸/消失梯度问题。为了解决这个问题,GCN使用了一种重正化技巧:,把范围变成了-1~1。

这样就可以把上面的公式推广到图中所有顶点上的信号矩阵X:,其中θ∈R^{d \times r}是滤波器参数矩阵,r是顶点特征向量上的滤波器数量。

然后,GCN的分层传播规则被定义如下:

其中H^{(0)}= X,\Theta ^{k-1}是第k-1层中的可训练滤波器参数矩阵,σ(\cdot)是激活函数。

图扩散方法,就是将标签信息传播到整个图结构。具体来说,假设顶点标签满足同向性原则即彼此连接的顶点很可能具有相同的标签。

其中u^{(0)}是长度为n(顶点数)的向量,其每一项表示每个顶点处的初始材质。\alpha _k是非负的,它满足滑\sum _k\alpha _k=1 ,并作为衰减权重来确保扩散消散。u^{(K))}捕获在图形边缘的扩散。

如果,那么上式为PageRank扩散。如果,那么为热核扩散。

Local and Global Neighborhood Information

     本文(1)将所有中间非线性激活函数设为线性激活函数σ(x) =x,(2)用\tilde{W}=\tilde{D}^{-1}\tilde{A}替代\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}(3)将所有权重矩阵重新参数化为单个矩阵。这样,GCN的分层传播公式就变成了可以被认为是通过在顶点特征矩阵x上应用linear层(由θ参数化)来计算的,对于每个列向量z,z\in Z,如果图结构是非二部图,那么通过多次迭代向量会收敛,其极限值将是矩阵W的主要特征向量。

这个定理表明:如果 k 非常大且 λ1 > λ2 > ... > λn,其中 λ1 到 λn 是矩阵的特征值,那么矩阵的每一列特征都会收敛到矩阵的主要特征向量 u1,而不考虑矩阵 X 和 Θ。其中 X 是输入特征矩阵,Θ 是参数矩阵。也就是说当 k 很大时,GCN 模型会倾向于收敛到矩阵 W 的主要特征向量,而忽略了输入特征矩阵 X 和参数矩阵 Θ 的影响,从而导致模型性能下降。

这在分类方面来说基本没什么用,但在收敛过程中产生的中间向量可能比较有用。比如下图,k=10000时分不出类了,但k=19的中间向量还是比较好分类的。在这个过程中,没有使用标签信息来指导学习。如果图结构的拉普拉斯矩阵捕获了成对顶点的相似性,即,图满足同向性原理,则幂迭代将使聚类分离,并且所提供的标签信息将加速该过程

Neural Diffusions:

        GCN仅使用一次幂迭代(k = 1),这不足以在标记顶点数量稀少时将标记信息传播到整个图结构。本文使用k = K次幂迭代来生成中间矩阵序列,本文建议将这些矩阵中包含的所有局部和全局邻域信息聚合在一个层中,用于稀疏标记图上的半监督分类。聚合是通过单层感知器(SLP)等神经网络实现的,

SLP的聚合定义为:

是SLP的加权参数。

之前的公式是截断图扩散,而通过放松约束,允许\alpha _k为任意值并让SLP自适应地学习它们,就得到了一种新的图扩散方法:神经扩散。

实现的时候要注意:首先展平 W^kZ (0 ≤ k ≤ K − 1) 成为向量,并且考虑把维度跃迁作为特征属性。最后使用SLP来聚合所有这些K向量。由于SLP的滤波器数量设置为1,需要通过f^{-1}将SLP的输出整形为矩阵H(K) \in R^{n \times r},其维数与z相同。H^{(K)}是一种线性图扩散。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/822407.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算股价波动率python

上述图片上传gemini,提问:转换为python代码 好的,以下是您发送的图像中公式的 Python 代码: python def stock_volatility(prices, opening_prices, N): """ 计算股票价格的波动率。 参数: p…

vscode如何方便地添加todo和管理todo

如果想在vscode中更加方便的添加和管理TODO标签,比如添加高亮提醒和查看哪里有TODO标签等,就可以通过安装插件快速实现。 安装插件 VSCode关于TODO使用人数最多的插件是TODO Height和Todo Tree 按住 CtrlShiftX按键进入应用扩展商店,输入to…

潮玩宇宙小程序定制大逃杀游戏APP开发H5游戏

游戏名称:潮玩宇宙大逃杀 游戏类型:休闲竞技类小游戏 游戏目标:玩家通过选择房间躲避杀手,生存下来并瓜分被杀房间的元宝。 核心功能 房间选择:玩家进入游戏后,可以选择一间房间躲避杀手。杀手行动&…

机器学习——自动驾驶

本章我们主要学习以下内容: 阅读自动驾驶论文采集数据根据论文搭建自动驾驶神经网络训练模型在仿真环境中进行自动驾驶 论文介绍 本文参考自2016年英伟达发表的论文《End to End Learning for Self-Driving Cars》 📎end2end.pdf

c语言中的数组

数组 数组是一种构造类型,是由基本类型构造而成。当我们想用一群变量来描述同一类相同的东西时候,比如100个年龄变量,我们可以这样int age1;int age2;int age3;……int age 100;这样即不方便书写&#xff…

通过腾讯云搭建跨境电商demo的详细操作过程(建站系统 保姆级指导,巨详细)

引言: 有许多做跨境电商的朋友,或者为跨境电商服务的小企业,都会面临搭建电商平台V1.0的问题 因此,花了点时间,找了一个开源的项目,让大家可以跑起来,一方面了解平台都有哪些模块,另…

揭秘ebay、亚马逊测评系统:从稳定环境搭建到防关联技术

在亚马逊、ebay平台上进行自养号测评、L ka等活动,首要问题是确保环境的安全性和稳定性。一个稳定的环境是进行测评的基础,如果无法解决安全性问题,那么从事这些项目就不值得。我们在环境技术研发领域已经有8年的经验,在早期测试了…

创建k8s deploy yaml文件的imagePullSecrets语句

镜像仓库是harbor kubectl create secret docker-registry key --docker-server192.168.0.190 --docker-usernameadmin --docker-passwordHarbor12345

Lagent AgentLego 智能体介绍

本文主要介绍智能体相关基础知识,主流的智能体开源项目,重点介绍Lagent智能体和AgentLego框架。 一. 为什么要有智能体 目前的大预言模型有一些局限性,包括有时候会生成虚假信息,也就是我们说的“大模型胡言乱语”,还…

LeetCode 每日一题 Day 123-136

1379. 找出克隆二叉树中的相同节点 给你两棵二叉树,原始树 original 和克隆树 cloned,以及一个位于原始树 original 中的目标节点 target。 其中,克隆树 cloned 是原始树 original 的一个 副本 。 请找出在树 cloned 中,与 tar…

虚拟机下如何使用Docker(完整版)

Docker详细介绍: Docker 是一款开源的应用容器引擎,由Docker公司最初开发并在2013年发布。Docker的核心理念源自于操作系统级别的虚拟化技术,尤其是Linux上的容器技术(如LXC),它为开发人员和系统管理员提供…

字体反爬积累知识

目录 一、什么是字体反扒 二、Unicode编码 三、利用font包获取映射关系 一、什么是字体反扒 字体反爬是一种常见的反爬虫技术,它通过将网页中的文本内容转换为特殊的字体格式来防止爬虫程序直接获取和解析文本信息。字体反爬的原理是将常规的字符映射到特殊的字…

【Web】Dest0g3 520迎新赛 题解(全)

目录 phpdest EasyPHP SimpleRCE funny_upload EasySSTI middle PharPOP ezip NodeSoEasy Really Easy SQL&easysql EzSerial ljctr phpdest 尝试打pearcmd,但似乎没有写文件的权限 ?config-create/&file/usr/local/lib/php/pearcmd.php&a…

STM32H7通用定时器计数功能的使用

目录 概述 1 STM32定时器介绍 1.1 认识通用定时器 1.2 通用定时器的特征 1.3 递增计数模式 1.4 时钟选择 2 STM32Cube配置定时器时钟 2.1 配置定时器参数 2.2 配置定时器时钟 3 STM32H7定时器使用 3.1 认识定时器的数据结构 3.2 计数功能实现 4 测试案例 4.1 代码…

2024蓝桥杯每日一题(最大公约数)

备战2024年蓝桥杯 -- 每日一题 Python大学A组 试题一:公约数 试题二:最大公约数 试题三:等差数列 试题四:最大比例 试题五:Hankson的趣味题 试题一:公约数 【题目描述】 …

小红书搜索团队提出新解码策略,降低大模型推理成本

如何让大语言模型(LLMs)“智能涌现”?关键技术之一是思维链(Chain of Thought,CoT),它通过引导大模型,一步一步模拟人类思考过程,可有效增强大模型的逻辑推理能力。 而自…

redis7 源码调试 服务端处理客户端./redis-cli连接 指令执行过程

redis7 源码调试 服务端处理客户端./redis-cli连接 指令执行过程 ##redis-cli客户端发起 ./redis-cli 客户端连接 指令 ##redis网络请求 1、AE_READABLE事件 2、客户端fd 3、创建文件事件 4、添加客户端cfd读写事件 5、处理读事件AE_READABLE 6、回调函数处理连接请求 rea…

【Phytium】飞腾D2000 UEFI/EDK2 适配 RTC(IIC SD3077)

文章目录 0. env1. 软件2. 硬件 10. 需求1. 硬件2. 软件 20. DatasheetCPURTC 30. 调试步骤1. 硬件环境搭建2. UEFI 开发环境搭建3. 修改步骤1. UEFI 中使能RTC驱动、配置RTC信息等1.1 使能RTC驱动1.2 修改RTC对应的IIC配置信息1.3 解决驱动冲突1.4 验证波形 2. 修改对应RTC驱动…

【二分查找】Leetcode 74. 搜索二维矩阵【中等】

搜索二维矩阵 给你一个满足下述两条属性的 m x n 整数矩阵: 每行中的整数从左到右按非严格递增顺序排列。每行的第一个整数大于前一行的最后一个整数。 给你一个整数 target ,如果 target 在矩阵中,返回 true ;否则&#xff0c…

LeetCode 1.两数之和(HashMap.containsKey()、.get、.put操作)

给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target 的那 两个 整数,并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是,数组中同一个元素在答案里不能重复出现。 你可以按任意顺序返回…