GNN-Transformer新突破!全局与局部的完美融合

图神经网络(GNN)和Transformer的结合是近年来的研究热点。这类结合不仅能够让两者发挥各自的优势,还能推动模型的创新,提高处理图数据的效率和性能。

具体点讲,通过利用Transformer,我们可以扩展GNN的感受野,包括那些距离中心节点较远的相关节点。相对的,GNN也可以帮助Transformer捕捉复杂的图拓扑信息,并从相邻区域高效地聚合相关节点。

目前,基于Transformer的GNN和图Transformer是GNN+Transformer的两大关键结合方式,这其中有不少个人认为很值得学习的成果。比如GNN 嵌套 Transformer 模型GraphFormers、仅使用一层全局注意力的简化图Transformer模型SGFormer。

本文挑选了18种GNN结合Transformer的最新创新方案和同学们分享,并简单提炼了方法和创新点,配套模型和代码也都整理了。

论文原文和代码需要的同学看文末

TransGNN

TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems

方法:论文提出了TransGNN模型,通过交替使用Transformer和GNN层来相互增强它们的能力。TransGNN利用Transformer层扩大了接受野,并将信息聚合从边缘中解耦,从而增强了GNN的信息传递能力。

为了有效捕捉图结构信息,作者们设计了细致的位置编码,并将其集成到GNN层中,以将结构知识编码到节点属性中,从而提高了Transformer在图上的性能。

为了提高效率,作者们提出了对Transformer进行最相关节点的采样,并提出了两种高效的样本更新策略,以减少复杂性。

创新点:

  • 引入了一种新颖的模型TransGNN,其中Transformer和GNN协同合作。Transformer扩大了GNN的感受野,而GNN捕捉关键的结构信息以增强Transformer的性能。

  • 为了解决复杂性的挑战,作者引入了一种采样策略以及两种更新相关样本的高效方法。

  • 对TransGNN的表达能力和计算复杂度进行了理论分析,揭示了TransGNN相对于具有小额外计算开销的GNN来说具有更大的潜力。

GraphFormers

GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph

方法:论文提出了一种名为GraphFormers的模型架构,用于文本图的表示学习。该模型将GNN和预训练语言模型相结合,通过将GNN嵌入到语言模型的Transformer层中,将文本编码和图聚合融合为一个迭代的流程,从而更准确地理解每个节点的语义。此外,还引入了渐进学习策略,通过对操纵过的数据和原始数据进行逐步训练,增强了模型整合图信息的能力。

创新点:

  • 图神经网络嵌套Transformer(GraphFormers): 它结合了图神经网络(GNNs)和语言模型。在GraphFormers中,GNN组件与语言模型的Transformer层并行设置,允许文本编码和图聚合的融合。这种架构能够从全局角度精确理解每个节点的语义,从而产生高质量的文本图表示。

  • 两阶段渐进学习:为了增强模型整合来自图的信息的能力,作者引入了一种两阶段渐进学习策略。在第一阶段,模型在被操纵的数据上进行训练,其中节点被随机污染,迫使模型利用全部输入节点。在第二阶段,模型在原始数据上训练以适应目标分布。这种渐进学习策略提高了GraphFormers的表示质量。

  • 单向图注意力:为了减少不必要的计算,作者引入了单向图注意力。只需要中心节点参考其邻居,而邻居节点保持独立编码。这允许缓存和重用现有邻居的编码结果,显著节省了计算成本。

Exphormer

EXPHORMER: Sparse Transformers for Graphs

方法:本文介绍了一种名为EXPHORMER的框架,用于构建强大且可扩展的图变换器。EXPHORMER采用两种机制:虚拟全局节点和扩展图,这些数学特性使得图变换器的复杂度仅与图的大小成线性关系,并且能够证明所得到的变换器模型具有理想的理论特性。

创新点:

  • EXPHORMER是一种新的稀疏图转换器架构,具有可扩展性和竞争力的准确性。

  • EXPHORMER基于两种机制,即虚拟全局节点和扩展图,实现了稀疏注意机制。

  • EXPHORMER的数学特性包括谱扩展、伪随机性和稀疏性,使得图转换器具有与图规模线性复杂度和理想的理论特性。

  • 在GraphGPS框架中使用EXPHORMER可以产生在各种图数据集上具有竞争力的实证结果,包括在三个数据集上的最新结果。

  • EXPHORMER可以扩展到比以前的图转换器架构更大的图数据集。

SGFormer

SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations

方法:本文提出了一种名为SGFormer的模型,通过一个简单的全局注意力模型来学习大图上的节点表示。该模型具有线性的时间和空间复杂度,能够高效地处理大规模图。

创新点:

  • SGFormer模型:
    • 提出了SGFormer模型,它是一种简化的图Transformer模型,只使用了单层单头的注意力机制。

    • SGFormer模型具有线性的时间和空间复杂度,能够有效地处理从数千到数十亿个节点的大规模图数据。

    • SGFormer模型在12个图数据集上取得了非常有竞争力的性能,比其他强大的图神经网络和最先进的图Transformer模型都要好。

  • 单层注意力模型的表达能力:
    • 通过将Transformer层与信号去噪问题相连接,证明了单层注意力模型可以产生与多层注意力相同的去噪效果。

    • 单层注意力模型可以实现最速下降,表明它具备足够的表达能力,能够学习全局信息。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“结合18”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/737181.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python办公自动化之PDF(二)

Python操作PDF二 1、PyMuPDF简介2、 1、PyMuPDF简介 PyMuPDF(也称Fitz)开源,提供了一整套用于处理PDF文件的综合工具。使用PyMuPDF,用户可以高效地执行打开PDF、提取文本、图像和表格、操作旋转和裁剪等页面属性、创建新PDF文档以…

Koltin 语言与Java语言有哪些差异?

目录 1. 变量声明方式不同 2. 方法(函数)定义略有不同 3. 逻辑控制关键字 if 的使用区别 4. 继承的区别 5. 接口和实现的区别 6. Koltin 的数据类有什么用? 1. 变量声明方式不同 Koltin声明变量的方式与Java类似,但是顺序不太一样。 举例如下 J…

Mapbox添加model图层

贴个群号 WebGIS学习交流群461555818,欢迎大家 效果图 源码 经常关注mapbox的朋友会发现,3.0版本之后,mapbox的api里更新了一个model图层 但是呢,却没有提供model有关的api,让我们摸不着头脑,到底该如…

20个常用的Python脚本

以下是20个常用的Python脚本示例&#xff1a; 计算阶乘 def factorial(n):if n 0:return 1else:return n * factorial(n-1)print(factorial(5))斐波那契数列 def fibonacci(n):if n < 1:return nelse:return fibonacci(n-1) fibonacci(n-2)print(fibonacci(10))判断素数…

最新基于R语言lavaan结构方程模型(SEM)技术

原文链接&#xff1a;最新基于R语言lavaan结构方程模型&#xff08;SEM&#xff09;技术https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247596681&idx4&sn08753dd4d3e7bc492d750c0f06bba1b2&chksmfa823b6ecdf5b278ca0b94213391b5a222d1776743609cd3d14…

【C++庖丁解牛】模拟实现STL的string容器(最后附源码)

&#x1f4d9; 作者简介 &#xff1a;RO-BERRY &#x1f4d7; 学习方向&#xff1a;致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f4d2; 日后方向 : 偏向于CPP开发以及大数据方向&#xff0c;欢迎各位关注&#xff0c;谢谢各位的支持 目录 1.vs和g下string结构…

librtmp交叉编译

目录 软件包下载 libopenssl编译 libz编译 librtmp编译 软件包下载 librtmp依赖openssl库和zlib库&#xff0c;注意openssl库版本需要为1.0&#xff0c;三个库下载地址如下&#xff1a; openssl:https://www.openssl.org/source/old/1.0.0/openssl-1.0.0s.tar.gz zlib:h…

LeetCode_Hot100_栈_155最小栈_Python

题目 设计一个支持 push &#xff0c;pop &#xff0c;top 操作&#xff0c;并能在常数时间内检索到最小元素的栈。 实现 MinStack 类: MinStack() 初始化堆栈对象。void push(int val) 将元素val推入堆栈。void pop() 删除堆栈顶部的元素。int top() 获取堆栈顶部的元素。i…

mysql笔记:3. 表数据更新

文章目录 插入数据插入单条数据插入多条数据复制表插入数据 更新数据删除数据截断表 存储在系统中的数据是数据库管理系统&#xff08;DBMS&#xff09;的核心&#xff0c;数据库被设计用来管理数据的存储、访问和维护数据的完整性。那么&#xff0c;数据库和表创建完成后&…

创造一款安卓自定义控件(4)——使用Matrix的setPolyToPoly方法实现图像纠正

接上文&#xff1a; 创造一款安卓自定义控件_任意4顶点裁剪框http://t.csdnimg.cn/vu1r5 创造一款安卓自定义控件_任意4顶点裁剪框2_为裁剪框添加放大镜功能http://t.csdnimg.cn/qkngh 创造一款安卓自定义控件_裁剪原理介绍http://t.csdnimg.cn/ORRRL 需求 随着需求修改&#x…

Stable Diffusion 详解

整体目标 文本生成图片&#xff1b;文本图片生成图片 网络结构 CLIP的文本编码器和图片生成器组成图像生成器&#xff0c;输入是噪声经过UNet得到图像特征&#xff0c;最后解码得到图像 前向扩散 模型直接预测图片难度比较大&#xff0c;所有让模型预测噪音然后输入-噪音…

macbook pro 2018 安装 arch linux 双系统

文章目录 友情提醒关于我的 mac在 mac 上需要提前做的事情复制 wifi 驱动 在 linux 上的操作还原 wifi 驱动连接 wifi 网络磁盘分区制作文件系统挂载分区 使用 archinstall 来安装 arch linux遗留问题 友情提醒 安装 archl linux 的时候&#xff0c;mac 的键盘是没法用的&#…

设计模式-结构型模式-代理模式

代理模式&#xff08;Proxy&#xff09;&#xff0c;为其他对象提供一种代理以控制对这个对象的访问。[DP] // 定义接口 interface Subject {void request(); }// 真实主题对象 class RealSubject implements Subject {Overridepublic void request() {System.out.println(&quo…

网络基础『 序列化与反序列化』

&#x1f52d;个人主页&#xff1a; 北 海 &#x1f6dc;所属专栏&#xff1a; Linux学习之旅、神奇的网络世界 &#x1f4bb;操作环境&#xff1a; CentOS 7.6 阿里云远程服务器 文章目录 &#x1f324;️前言&#x1f326;️正文1.协议的重要性2.什么是序列化与反序列化&…

AI会砸了我们的饭碗?

Sora&#xff0c;由OpenAI推出&#xff0c;是一款创新的文本到视频生成模型。它能够将文本描述转化为引人入胜的高清视频片段。采用了扩散模型和变换器架构&#xff0c;Sora实现了高效的训练。其方法包括统一表示法、基于补丁的表示法、视频压缩网络和扩散变换器。 Sora具备多种…

C语言--- 指针运算笔试题详解

目录 题目1&#xff1a; 题目2&#xff1a; 题目3&#xff1a; 题目4&#xff1a; 题目5&#xff1a; 题目6&#xff1a; 题目7&#xff1a; 题目1&#xff1a; #include <stdio.h> int main() {int a[5] { 1, 2, 3, 4, 5 };int *ptr (int *)(&a 1);print…

长期异地就医备案有效期是多久?答记者问!

4、长期异地就医登记的有效期是多长&#xff1f; 答&#xff1a;异地长期就医登记长期有效。 如果您因个人原因需要变更长期居住地&#xff0c;只需提供相应的登记信息即可申请变更。 5、临时异地就医登记的有效期是多长时间&#xff1f; 答&#xff1a;临时异地就医登记包括…

CSS伪类与常用标签属性整理与块级、行级、行级块标签(文本,背景,列表,透明,display)

目录 文本 color&#xff1a;字体颜色 font-size&#xff1a;字体大小​编辑 front-family&#xff1a;字体 text-align&#xff1a;文本对齐 text-decoration:line-through&#xff1a;定义穿过文本下的一条线 text-decoration:underline&#xff1a;定义文本下的一条线…

如何轻松打造属于自己的水印相机小程序?

水印相机小程序源码 描述&#xff1a;微信小程序。本文将为您详细介绍小程序水印相机源码的搭建过程&#xff0c;教您如何轻松打造属于自己的水印相机小程序。无论您是初学者还是有一定基础的开发者&#xff0c;都能轻松掌握这个教程。 一&#xff1a;水印相机搭建教程 1 隐…

上位机图像处理和嵌入式模块部署(qmacvisual旋转和镜像)

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 旋转和镜像是图像处理中经常遇到的一个情况。很多时候&#xff0c;摄像头面对物体进行拍摄&#xff0c;未必是正对着进行拍摄的&#xff0c;这个时…