能发顶会!GNN结合LLMs的三大创新思路!新SOTA准确率提升10倍

LLMs在处理NLP任务方面表现出色,而GNNs在挖掘和分析复杂关系数据(图数据)方面展现出其卓越的能力。这种趋势催生了将这两种技术整合的研究兴趣,为解决更多领域的实际问题。GNN结合LLMs也逐渐成为了研究的热点。

GNN+LLMs可以发挥二者的互补优势,实现更全面的数据处理和分析,以便构建更大的模型,获得更好的性能。以港大等发布的通用图大模型GraphGPT为例:

GraphGPT通过与图结构的文本信息进行对齐,结合自监督学习的图结构信号和任务特定的图指令,引导语言模型在理解复杂图结构和提高在不同任务中的适应性方面取得了显著的改进。

GraphGPT主要贡献:

1.通过引入文本-图对齐的概念,GraphGPT框架实现了图结构与自然语言空间之间的合理对齐。

2.利用自监督信号通过图匹配任务来指导语言模型的调优。通过引入这种自监督的指令调整,语言模型可以获得与图相关的领域特定的结构知识,从而增强其对图结构的理解能力。

3.通过将思维链(COT)蒸馏引入框架,GraphGPT增强了逐步推理的能力,并在面对分布转移时提高了性能。

目前,GNN结合LLMs主要有三大创新方向:LLM作为增强器、LLM作为预测器和GNN-LLM对齐。GraphGPT就属于LLM作为预测器这类。

本文整理了这三大创新方向最新的代表性成果(共16篇),模型原文以及开源代码已附,方便各位复现。

论文原文以及代码需要的同学看文末

LLM作为增强器

LLMRec: Large Language Models with Graph Augmentation for Recommendation

方法:通过使用LLM增强模型来解决稀疏隐式反馈信号和低质量辅助信息的挑战,通过对用户交互偏好进行分析和去偏执化的项目属性。同时,为了确保增强数据的质量,引入了去噪增强鲁棒机制。

创新点:

  • 数据增强方法:作者引入了一种去噪的增强鲁棒性机制,以确保增强数据的质量。这种方法通过利用大模型的共识知识,使用LLMs作为推断模型,增强边缘和加强节点特征,从而提高模型的性能。

  • 通过LLM增强的推荐模型:作者提出了一种LLMRec模型,该模型通过建立LLMs对用户互动偏好进行建模和解除项目属性偏差,从而解决了稀疏隐式反馈信号和低质量辅助信息的挑战。

One for All: Towards Training One Graph Model for All Classification Tasks

方法:研究提出了一种名为OFA的通用框架,可以利用一个单一的图模型来解决图领域中的多样化任务。OFA使用文本属性图来统一不同的图数据,并使用语言模型将不同领域的文本属性编码成相同嵌入空间中的特征向量。

创新点:

  • 利用Text-attributed graphs (TAGs)将不同领域的图数据统一为同一种格式,使得一个单一的LLM可以将所有TAGs编码到同一个嵌入空间中。

  • 引入Nodes-of-Interest (NOI) subgraph和NOI prompt node的概念,将不同类型的图任务统一起来,并提升基于图模型的学习能力。

  • 提出了Graph Prompting Paradigm (GPP)来实现图数据的上下文学习,通过将prompt graph插入原始输入图中,使得模型可以根据任务从图中获取相关信息,实现多任务学习和零样本学习的能力。

LLM作为预测器

Can Language Models Solve Graph Problems in Natural Language?

方法:论文提出了一种名为NLGraph(Natural Language Graph)的综合基准,用于评估大型语言模型在自然语言中处理图形和结构推理的能力。NLGraph包含29,370个问题,涵盖了八个不同复杂度的图推理任务,从简单的连通性和最短路径到复杂的最大流和模拟图神经网络。

创新点:

  • 作者通过设计两种特殊情况(链和团)来评估LLMs在连接性任务上的脆弱性。

  • 作者提出了“构建图形提示”和“算法提示”两种指导方法,显著提高了LLMs在解决自然语言图问题方面的性能。

  • NLGraph基准提供了一个全面的测试平台,涵盖了八个具有不同复杂性的图推理任务。

GNN-LLM对齐

GRENADE: Graph-Centric Language Model for Self-Supervised Representation Learning on Text-Attributed Graphs

方法:作者开发一种新的图中心语言模型——Grenade,旨在为各种下游任务创建具有表现力和可泛化性的表示。通过优化两个专门的自监督学习算法:图中心对比学习和图中心知识对齐,Grenade能够有效地捕捉文本属性图上的信息文本语义和结构上下文信息。

创新点:

  • 图中心语言模型Grenade:
    • 通过结合预训练语言模型和图神经网络的协同效应,Grenade有效地捕捉了文本属性图上的信息文本语义和结构上下文信息。

    • Grenade利用了两种专门的自监督学习算法进行优化:图中心对比学习和图中心知识对齐。

  • 图中心对比学习:
    • 与传统的实例级对比学习不同,图中心对比学习还强调邻近节点共享相似表示。

    • 不同于现有方法,该方法通过考虑局部邻域信息来扩展正样本构建的设计,以捕捉复杂的图结构。

    • 图中心对比学习有效地帮助Grenade捕捉了TAG上的信息文本语义以及结构上下文信息。

  • 图中心知识对齐:
    • 节点级知识对齐通过以跨模态形式进行图中心对比学习,对两个编码器学习的表示进行对齐。

    • 邻域级知识对齐通过最小化两个编码器计算的邻域相似性分布之间的KL散度,对两个编码器之间的知识进行对齐。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“大模型GNN”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/742326.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

红帽认证知识储备-Linux安全

Linux安全 内置安全机制 常见的系统用的centos中用的是SELinux,ubuntu用的是AppArmor,deepin什么都没用 SELINUX 定义 SELinux 是一个 Linux 内核安全模块,它增强了系统的安全性,通过实施强制访问控制策略来限制程序和用户对系…

集智书童 | 炸裂 !轻量化YOLO | ShuffleNetv2与Transformer结合,重塑YOLOv7成就超轻超快YOLO

本文来源公众号“集智书童”,仅用于学术分享,侵权删,干货满满。 原文链接:炸裂 !轻量化YOLO | ShuffleNetv2与Transformer结合,重塑YOLOv7成就超轻超快YOLO 随着移动计算技术的迅速发展,在移动…

MYSQL集群

MYSQL集群 主从复制实验 1.将主从节点的防火墙全部关闭 ,安装数据库 2.在/etc/hosts 里添加两侧主机的IP和主机名(选做) 192.168.100.80 mysql8 192.168.100.81 mysql8b3.先让所有的mysql数据库的UUID保持不同(如果你时直接复制…

ECharts饼图图例消失踩的坑

在使用Echarts的饼图时,当时做法是在图例数小于8时显示全部的图例,在大于8的时候显示前8个图例。于是用了两种不同的方式处理。导致出现切换时间后图例不显示的情况。 错误过程: 在进行图例生成时采用了两种不同的方式: ①如果…

打造你的HTML5打地鼠游戏:零基础入门教程

🌟 前言 欢迎来到我的技术小宇宙!🌌 这里不仅是我记录技术点滴的后花园,也是我分享学习心得和项目经验的乐园。📚 无论你是技术小白还是资深大牛,这里总有一些内容能触动你的好奇心。🔍 &#x…

3. Linux标准I/O库

Linux 标准 I/O(Standard I/O)库提供了一组函数,用于进行高级别的文件输入和输出操作。它建立在底层文件 I/O 系统调用之上,为开发者提供了更方便、更高级别的文件处理方式。以下是一些常用的 Linux 标准 I/O 库函数: …

Rust生命周期和生命周期声明‘作用Missing lifetime specifier

Missing lifetime specifier:报错说明缺失声明周期声明 Rust 生命周期机制是与所有权机制同等重要的资源管理机制。 之所以引入这个概念主要是应对复杂类型系统中资源管理的问题。 引用是对待复杂类型时必不可少的机制,毕竟复杂类型的数据不能被处理器…

如何开展自动化测试框架的构建

自动化测试框架的构建是一个系统性的过程,它涉及到多个层面的考虑和实施。以下是一些关键步骤和策略,帮助你开展自动化测试框架的构建: 需求分析: 深入了解业务需求,明确测试目标。分析现有的测试流程和测试用例&…

UDP连接树莓派时提高连接速度,降低卡顿感

背景 树莓派4B刷的是ubuntu20.4系统,使用win10自带的远程桌面连接和其连接,卡的一批,于是探索并记录下如何降低连接卡顿感 步骤一 点击显示选项, 降低显示配置和颜色深度: 步骤二 我的树莓派是通过电脑移动热点的方式…

Qt+FFmpeg+opengl从零制作视频播放器-13.打包为exe包发布软件

1.首先visual studio给生成程序添加桌面图标。 右键工程,添加新文件资源文件Resource.rc 选择导入文件,我这里导入了Player.ico文件。 添加后,在资源文件那里就可以看见ico文件。 然后编译release程序, 生成的可执行程序就带上了图标。 2.使用Qt 程序打包发布-windeployq…

用spark进行数据查询常用语法总结

文章目录 show:数据显示distinct:数据行数去重count:看行数select:查看具体列数据toDF:对字段命名(搭配常用与groupby--agg--toDF)withColumn:新增列名printSchema: 打印列名信息dropDuplicates&#xff1a…

AWS入门实践-AWS CLI工具的使用介绍

AWS CLI(Amazon Web Services Command Line Interface)是一个强大的工具,它允许您直接从命令行与AWS服务进行交互。这不仅可以加快许多任务的处理速度,而且还可以通过脚本自动化。 一、AWS CLI工具的安装 1、Windows 安装下载…

uniapp图片涂鸦插件(支持多种涂鸦方式,图片放大缩小)

工程地址https://gitee.com/geshijia/ct-graffiti ct-graffiti涂鸦组件使用说明 参考说明 参考链接:https://github.com/ylyuanlu/yl-graffiti 感谢作者的付出,给我提供了一些思路,并做了如下优化: 增加图片放大缩小移动功能添…

Qt+FFmpeg+opengl从零制作视频播放器-15.音视频一些知识

1.视频方面 本专栏只针对视频压缩数据为H.264的数据进行演示。 H264解码后的原始数据主要包括片(slice)、宏块(MB)以及YUV像素数据。 片是H264编码中的基本单元,它包含一帧图像的部分或全部数据。一个视频帧可以由一个或多个片组成,每个片最少包含一个宏块,最多可以包…

怎么读取springboot中的properties.yml配置文件里的配置值(亲测有效)

怎么读取springboot中的properties.yml配置文件里的配置值 test:username: name主配置类中加上 EnableConfigurationProperties(MailConfigProperties.class)类上加ConfigurationPropetise("test“),属性就会自动注入配置值; ConfigurationPropetise("…

第十四届蓝桥杯蜗牛

蜗牛 线性dp 目录 蜗牛 线性dp 先求到达竹竿底部的状态转移方程 求蜗牛到达第i根竹竿的传送门入口的最短时间​编辑 题目链接:蓝桥杯2023年第十四届省赛真题-蜗牛 - C语言网 关键在于建立数组将竹竿上的每个状态量表示出来,并分析出状态转移方程 in…

[实战]API防护破解之签名验签

前言: 传统的接口在传输的过程中,是非常容易被抓包进行篡改,从而进行中间人攻击。这时候我们可以通过对参数进行签名验证,如果参数与签名值不匹配,则请求不通过,直接返回错误信息,从而防止黑客…

混合A*源码解读(c++)

基于ros中通过slam建立的栅格地图&#xff0c;使用混合A*进行路径规划。 首先是run_hybrid_astar.cpp: #include "hybrid_a_star/hybrid_a_star_flow.h" #include "3rd/backward.hpp" #include <ros/ros.h>namespace backward { backward::SignalHa…

使用hashmap优化时间复杂度,leetcode1577

1577. 数的平方等于两数乘积的方法数 已解答 中等 相关标签 相关企业 提示 给你两个整数数组 nums1 和 nums2 &#xff0c;请你返回根据以下规则形成的三元组的数目&#xff08;类型 1 和类型 2 &#xff09;&#xff1a; 类型 1&#xff1a;三元组 (i, j, k) &#xff…

题目 3150: 冶炼金属

题目描述: 小蓝有一个神奇的炉子用于将普通金属 O 冶炼成为一种特殊金属 X。这个炉子有一个称作转换率的属性 V&#xff0c;V 是一个正整数&#xff0c;这意味着消耗 V 个普通金 属 O 恰好可以冶炼出一个特殊金属 X&#xff0c;当普通金属 O 的数目不足 V 时&#xff0c;无法…