突破图神经网络技术瓶颈!新阶段3大创新方向大幅提高模型性能

针对传统的图神经网络在处理非结构化数据、捕捉高阶关系等方面的局限性,研究者们提出了众多优化方案。

这其中,超图神经网络、几何图神经网络、动态图神经网络作为GNN发展的前沿方向,不仅提供了更加丰富和灵活的方法来处理各种复杂的图数据,提高模型在特定领域的性能和应用范围,同时也在交叉领域有广泛的多元化应用。是我们做创新发论文的好方向。

本文介绍图神经网络这3大创新方向,每个方向都附有代表论文以及相应代码(共15篇),方便同学们理解学习以及复现。

论文原文以及代码需要的同学看文末

动态图神经网络

一种专门设计来处理随时间变化的图数据的深度学习模型。能够捕捉和分析图结构中的时间序列信息,对于理解和预测图的动态行为特别有用。在社交网络分析、交通预测、金融市场分析等多个领域都有广泛的应用。

代表论文1

FREEDYG: FREQUENCY ENHANCED CONTINUOUSTIME DYNAMIC GRAPH MODEL FOR LINK PREDICTION

方法:本文提出了一种名为FreeDyG的频率增强连续时间动态图模型,专为链接预测而设计。该方法包括一个新颖的频率增强MLP-Mixer层,能够有效捕捉频域中观察到的周期性时间模式和“shift”现象。同时,作者还引入了一个节点交互频率编码器,同时提取节点对之间的交互频率信息和共同邻居的比例信息。

创新点:

  • 频率增强的MLP-Mixer层:这是一种新颖的频率增强多层感知器混合(MLP-Mixer)层,能有效捕捉频域中观察到的周期性时间模式和“移位”现象。

  • 节点交互频率编码器:引入了一种节点交互频率编码器,可以同时提取节点对之间的交互频率信息和共同邻居比例的信息。通过在频域中进行更深入、更细致的交互模式提取,揭示了周期性和“移位”行为。

几何图神经网络

一类特殊的图神经网络,专门设计用于处理具有几何特性的图数据。其中群论、对称性和最小作用量原理是亮点。

这类网络能够捕捉到图结构中的几何和拓扑属性,在处理具有物理对称性的数据时更为有效,例如在平移、旋转和反射不变性方面的表现。

不变模型

代表论文1

ComENet: Towards Complete and Efficient Message Passing for 3D Molecular Graphs

方法:论文提出一种完整且高效的图神经网络ComENet来学习三维分子图。该方法通过全局和局部完整性实现了对三维信息的完整性保证,并且比现有方法快几个数量级。通过引入重要的旋转角度来实现全局完整性,并且提供了该方法完整性的严格证明。

创新点:

  • 提出了一种新的消息传递方案,用于在1-hop邻居内进行操作,以实现完全的3D信息。这种方法通过实现全局和局部的完整性来保证3D图形的完整性,尤其是通过引入重要的旋转角度来实现全局的完整性。

  • 设计了一种新的策略,以保证局部完整性,并且计算成本为O(nk)。通过将旋转角度整合到消息传递方案中,该方法可以在构象器级别上实现严格的完整性,并能够区分所有构象器。

等变模型

代表论文2

Learning Local Equivariant Representations for Large-Scale Atomistic Dynamics

方法:论文介绍了一种称为Allegro的新型深度学习相互作用势模型,它具有高精度、可扩展性和泛化能力。该模型结合了神经网络的高精度和局部描述符的可扩展性,能够适用于大型体系。Allegro模型使用严格局部的描述符和多层的深度神经网络,通过结合等变操作和严格局部描述符的优势,实现了高精度的能量和力的预测。

创新点:

  • Allegro是一种新型的深度学习原子间势能模型,通过学习等变表示的张量积来描述原子的能量和力,具有高度准确性和可扩展性。

  • Allegro可以准确地预测复杂系统的结构和动力学性质,并且在大规模并行计算中具有很高的效率。

  • Allegro的设计结合了张量积运算、等变神经网络和局部描述符等创新思想,突破了传统消息传递方法的局限性,展示出了高度准确和可扩展的潜力。

几何图transformer

代表论文3

Equivariant Pretrained Transformer for Unified Geometric Learning on Multi-Domain 3D Molecules

方法:使用等变Transformer模型EPT进行预训练,在多个领域的三维分子结构上进行统一的几何学建模,设计了适用于大规模系统的等变Transformer和针对多领域数据集的块级去噪策略。

创新点:

  • EPT是一种新颖的预训练框架,它协调了小分子和蛋白质的几何学习,允许跨领域知识转移。

  • EPT通过使用增强块表示来统一不同领域的分子表示,这种表示关注每个原子更广泛的上下文。

  • EPT实现了一种等变Transformer,它保持了分子结构的几何对称性,从而准确地表示了3D结构。

超图神经网络

一种先进的机器学习模型,它扩展了传统图神经网络的概念,以处理更高阶的数据关系。

其核心思想在于利用超图结构来编码和学习数据之间的高阶相关性。与传统的图不同,超图可以表示多方面的关系,其中每条超边可以连接任意数量的节点。这种结构让超图神经网络特别适合用于数据点之间存在复杂交互的场景。

代表论文1

T-HyperGNNs: Hypergraph Neural Networks Via Tensor Representations

方法:论文设计一种使用张量表示的超图神经网络(HyperGNNs),以充分利用高维超图数据进行表示学习。通过使用张量来编码超图结构,并通过交叉节点交互张量来建模节点之间的相互作用,HyperGNN可以学习超过节点级求和的高阶函数。

创新点:

  • 引入张量表示法和张量 t-乘积,提出了基于张量的超图 T-谱卷积。

  • 提出了将 T-谱卷积局部化为 T-空间卷积的方法,以减小计算复杂性。

  • 引入了压缩的邻接张量,并提出了张量消息传递超图神经网络 (T-MPHN),以提高计算效率。

 关注下方《学姐带你玩AI》🚀🚀🚀

回复“百变GNN”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/758808.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

什么是物联网嵌入式硬件?有哪些特点和优势?

【前言】本篇为物联网硬件系列学习笔记,分享学习,欢迎评论区交流~ 物联网嵌入式硬件是专为物联网应用而设计的硬件设备。这些设备通常小型化、低功耗,集成了处理器、存储器、传感器、通信模块等功能,使其能够连接并与其他设备进行…

2403d,d的com哪里错了

原文 感谢任意见解.细节: >dmd --version DMD64 D Compiler v2.107.0参考: ComObject类 IUnknown接口 我只使用了ComObject类和隐式继承了IUnknown接口,用用ImportC编译并包含以下内容的comheaders.c编写了一些COM测试代码. #define WINVER 0x0A00 #define _WIN32_WINNT…

【Linux】Linux安装软件---软件包管理器 yum

主页:醋溜马桶圈-CSDN博客 专栏:Linux_醋溜马桶圈的博客-CSDN博客 gitee:mnxcc (mnxcc) - Gitee.com 目录 1.Linux中安装软件 1.1 源代码安装 1.2 rpm包安装 1.3 yum安装 1.3.1 举例 1.3.2 图示yum下载安装 2.Linux系统的生态 如何选…

第9关:请将(S2,J6,P4,200)插入供应情况关系表SPJ

任务描述 请将(S2,J6,P4,200)插入供应情况关系表SPJ 相关知识 供应情况表SPJ由供应商代码(SNO)、零件代码(PNO)、工程项目代码(JNO)、供应数量(QTY)组成,标识某供应商 供应某种零件 给某工程项目的数量为QTY。 SPJ表如下图&…

单片机--数电(2)

组合逻辑电路 根基题目要求设计逻辑电路 组合逻辑电路 由一些逻辑门电路搭建,为实现某些功能的电路 特点 在任意时刻输出只取决于该时刻的输入,与电路原来的状态无关 根据图分析组合逻辑的方法 可以使用multisim的逻辑转换仪 1组合逻辑电路图 2…

CCIE-06-EIGRP_TS

目录 实验条件网络拓朴 路由器基础配置开始排错, 要求R14访问R11的lo0时负载均衡1. K值不匹配2. R14和R13邻居关系没有起来,3. 继续排查邻居关系,R13和R11关系没有起来4. R13的R11邻居关系起来又关闭,关闭又起来(认证信…

mysql的基本知识点——数据增删查

写相关 在SQL中,用于写入数据的基本语句主要有两个:INSERT INTO 和 UPDATE。这两个语句分别用于向表中插入新记录和更新现有记录。 INSERT INTO 语句 INSERT INTO 语句用于向数据库表中插入新的行/记录。其基本语法如下: INSERT INTO 表名…

【Qt学习笔记】(三)--编写上位机软件(ui设置、样式表serialport串口接收数据、Qchart显示波形)

声明:本人水平有限,博客可能存在部分错误的地方,请广大读者谅解并向本人反馈错误。    这段时间大部分都是在学Qt,前面想着跟着书一章章的学,但是发现这个效率极低,所以就改变了学习的方法,那…

蓝桥杯java组 螺旋折线

题目描述 如图所示的螺旋折线经过平面上所有整点恰好一次。 对于整点(X, Y),我们定义它到原点的距离dis(X, Y)是从原点到(X, Y)的螺旋折线段的长度。 例如dis(0, 1)3, dis(-2, -1)9 给出整点坐标(X, Y),你能计算出dis(X, Y)吗? 【输入格…

C语言判断回⽂字符串

使用C语言判断这个字符串是否是回⽂字符串(字符串的长度小于等于30,字符串不包含空格),如果是回文字符串输出Yes,如果不是回⽂字符串输出No。 回文串:是一个正读和反读都一样的字符串 方法:1.使用两个指针分别放置在…

处理器方法的返回值

返回ModelAndView: 若处理器方法处理完后,需要跳转到其它资源,且又要在跳转的资源间传递数据,此时处理器方法返回ModelAndView 比较好。当然,若要返回 ModelAndView,则处理器方法中 需要定义ModelAndView对象。 在使用…

Python 深度学习第二版(GPT 重译)(四)

九、高级计算机视觉深度学习 本章涵盖 计算机视觉的不同分支:图像分类、图像分割、目标检测 现代卷积神经网络架构模式:残差连接、批量归一化、深度可分离卷积 可视化和解释卷积神经网络学习的技术 上一章通过简单模型(一堆Conv2D和MaxP…

什么是高防CDN?

高防CDN(Content Delivery Network,内容分发网络)在网络安全中的作用非常重要。它通过一种特别的方式来保护网站和网络应用程序免受大规模DDoS攻击。以下是它的一些主要优势: 01 分布式防护 高防CDN通过在全球各地设立大量的节点…

深入解析Kafka中的动态更新模式

欢迎来到我的博客,代码的世界里,每一行都是一个故事 深入解析Kafka中的动态更新模式 前言动态更新模式的基础概念动态更新模式的概念:解决的问题和引入的原因: 原理解析与工作流程动态更新模式的工作原理和工作流程:示…

JavaSE(上)-Day7

JavaSE(上)-Day7 类和对象封装privatethis构造方法标准JavaBean对象的内存图执行Test类main方法生成一个User对象的内存过程 基本数据类型和引用数据类型的区别this的内存原理成员变量和局部变量区别 类和对象 类是设计图纸,对象是真正的实例…

【联邦学习贡献评估——联邦学习优化】

1. 模型复用 贡献评估往往需要计算不同参与方组合的数据价值, 然而模型相关的价值度量指标, 比如测试准确率, 需要基于数据重新训练并评测模型, 这导致了高昂的数据价值度量代价. 为了避免重复训练联邦模型的代价, 考虑复用全体参与方组合下训练联邦模型时各参与方的梯度更新,…

【NTN 卫星通信】 车辆物联网设备通过NTN和TN切换的应用场景

1 场景描述 对于有两个3GPP无线接入网服务的大面积农田和农场,物联网设备可以通过NTN和TN接入网同时受益于5G系统的双转向数据连接能力。   在这个用例中,我们有一个广域的农业自动化应用系统来控制农业车辆,例如,一个装有数百个…

大模型提示学习样本量有玄机,自适应调节方法好

引言:探索文本分类中的个性化示例数量 在自然语言处理(NLP)领域,预测模型已经从零开始训练演变为使用标记数据对预训练模型进行微调。这种微调的极端形式涉及到上下文学习(In-Context Learning, ICL)&…

leetcode代码记录(删除字符串中的所有相邻重复项

目录 1. 题目:2. 我的代码:小结: 1. 题目: 给出由小写字母组成的字符串 S,重复项删除操作会选择两个相邻且相同的字母,并删除它们。 在 S 上反复执行重复项删除操作,直到无法继续删除。 在完成…

LeetCode_30_困难_串联所有单词的子串

文章目录 1. 题目2. 思路及代码实现详解(Python)2.1 滑动窗口 1. 题目 给定一个字符串 s s s 和一个字符串数组 w o r d s words words。 w o r d s words words 中所有字符串 长度相同。 s s s 中的 串联子串 是指一个包含 w o r d s words words …