Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs

本文是LLM系列文章,针对《Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs》的翻译。

探索大型语言模型在图形学习中的潜力

  • 摘要
  • 1 引言
  • 2 前言
  • 3 LLM在图上的流水线
  • 4 LLM作为增强器
  • 5 LLM作为预测器
  • 6 相关工作
  • 7 结论
    • 7.1 关键发现
    • 7.2 局限性
    • 7.3 未来方向

摘要

图学习由于其在现实世界中的广泛应用而引起了极大的关注。在具有文本节点属性的图上学习最流行的管道主要依赖于图神经网络(GNN),并利用浅文本嵌入作为初始节点表示,这在一般知识和深刻的语义理解方面具有局限性。近年来,大型语言模型(LLM)已被证明具有广泛的公共知识和强大的语义理解能力,这彻底改变了现有的处理文本数据的工作流程。在本文中,我们旨在探索LLM在图机器学习中的潜力,特别是在节点分类任务中,并研究两种可能的管道:LLM作为增强器和LLM作为预测器。前者利用LLM利用其海量知识增强节点的文本属性,然后通过GNN生成预测。后者试图直接使用LLM作为独立的预测因子。我们在不同的环境下对这两条管道进行了全面、系统的研究。从全面的实证结果中,我们进行了原始的观察,发现了新的见解,这些见解开辟了新的可能性,并提出了利用LLM在图上学习的有希望的方向。

1 引言

2 前言

3 LLM在图上的流水线

4 LLM作为增强器

5 LLM作为预测器

6 相关工作

7 结论

在本节中,我们总结了我们的主要发现,介绍了本研究的局限性,并讨论了在图机器学习中利用LLM的潜在方向。

7.1 关键发现

在本文中,我们提出了两个潜在的管道:作为增强器的LLM和作为预测器的LLM,它们结合了LLM来处理文本属性图。我们严谨的实证研究揭示了一些有趣的发现,为未来的研究提供了新的见解。我们在下面强调了一些关键发现,从观察结果1到观察结果18可以找到更多发现。
发现1对于LLM作为增强器,深度句子嵌入模型在性能和效率方面表现出有效性。我们实证发现,当我们在特征级别采用深度句子嵌入模型作为增强因子时,它们在不同的数据集分割设置下表现出良好的性能,并且具有可扩展性。这表明它们是在功能级别增强文本属性的好候选者。
发现2对于LLM作为增强器,LLM的增强器和集合的组合证明了其有效性。如第4.2节所示,当LLM被用作文本级别的增强器时,我们通过在数据集和数据分割中将增强的属性与原始属性集成,观察到性能的提高。这为提高属性相关任务的性能提供了一种很有前途的方法。所提出的流水线包括用LLM增强属性,然后将原始属性与增强的属性组合在一起。
发现3对于作为预测因子的LLM,LLM呈现出初步的有效性,但也表明了潜在的评估问题。在第5节中,我们利用文本属性和边缘关系,对LLM作为预测因子进行了初步实验。结果表明,LLM在处理文本属性方面表现出有效性,并在某些数据集上实现了良好的零样本性能。此外,我们的分析揭示了现有评估框架内的两个潜在问题:(1)在某些情况下,LLM的不准确预测也可以被认为是合理的,特别是在引用数据集的情况下,多个标签可能是合适的。(2) 我们在OGBN-ARXIV上发现了一个潜在的测试数据泄露问题,这突出表明需要仔细重新考虑如何在真实世界数据集上适当评估LLM的性能。

7.2 局限性

更深入地理解文本嵌入的有效性。尽管深度句子嵌入模型是有效的,但我们对为什么它们的嵌入在节点分类任务上优于PLM的理解仍然有限。此外,我们在OGBN-PRODUCTS数据集上观察到深度句子嵌入模型和GLEM之间的性能差距,这可能与数据集的领域有关。此外,如观察4所示,GNN在不同的文本嵌入上表现出不同水平的有效性。然而,我们对这一现象的解释有限。为了获得更深入的理解,我们需要查看原始特征空间和聚合后的特征空间。这种现象可能与语言模型嵌入中的anistrophy有关。需要更深入的分析才能更好地理解这些现象。
LLM增强的成本。在这项工作中,我们研究了TAPE和KEA,以增强文本级别的文本属性。尽管这些方法已被证明是有效的,但对于具有N个节点的图,它们需要查询LLM的API至少N次。考虑到LLM的相关成本,在处理大规模数据集时,这会带来巨大的开销。因此,我们没有给出OGBN-ARXIV和OGBN-PRODUCTS数据集的结果。
文本格式的手工提示表示图形。在第5节中,我们将研究局限于使用“自然语言”提示进行图形表示。然而,存在各种其他格式用于以自然语言表示图,如XML、YAML、GML等。此外,我们主要以手工制作的方式设计这些提示,主要是基于试错。因此,值得考虑探索更多的提示格式以及如何实现自动提示。

7.3 未来方向

将当前管道扩展到更多的图学习任务。在本研究中,我们的主要重点是研究节点分类任务。尽管如此,这两条流水线是否可以扩展到其他的图学习任务,仍有待探索。某些任务需要使用远程信息,在LLM有限的输入上下文中表示这些信息是一个重大挑战。此外,我们证明了LLM在包含丰富文本信息的图中,特别是在自然语言中,表现出有希望的初步结果。然而,探索它们对具有非自然语言信息的其他类型图的有效扩展,如分子图,仍需进一步探索。
图域的LLM。在本文中,我们重点讨论了如何通过上下文学习使LLM适应图机器学习任务。然而,由于模型参数尚未更新,上下文学习可以帮助LLM获得特定任务信息的程度受到限制。最近,一些研究已经开始探索使用基于指令调整的方法来设计特定领域的模型,如推荐系统、多模态和表格数据。这些特定于领域的模型建立在LLaMA和Flan-T5等开源大型模型的基础上。然而,据我们所知,仍然没有专门针对图域调整的LLM。因此,如何调整这些基于调优的方法并将其应用于图域是一个很有前途的未来方向。
更有效地使用LLM。尽管LLM有效,但这些模型固有的运营效率和运营成本仍然构成重大挑战。以通过API访问的ChatGPT为例,当前的计费模型处理大型图形的成本很高。对于本地部署的开源大型模型,即使只是使用它们进行推理,也需要大量的硬件资源,更不用说通过参数更新来训练模型了。因此,制定更有效的战略来利用LLM目前是一项挑战。
评估LLM在图机器学习任务中的能力。在本文中,我们简要讨论了当前评估框架的潜在陷阱。主要有两个问题:(1)测试数据可能已经出现在LLM的训练语料库中,这被称为“污染”(2)基本事实标签可能存在歧义,基于它们计算的性能可能无法反映LLM的真实能力。对于第一个问题,一种可能的缓解措施是使用LLM的训练语料库中不包括的最新数据集。然而,这意味着我们需要不断收集数据并对其进行注释,这似乎不是一个有效的解决方案。对于第二个问题,一个可能的解决方案是重新考虑真实实况设计。例如,对于学术论文的分类,我们可以采用多标签设置,并选择所有适用的类别作为基本事实。然而,对于更一般的任务,设计更合理的基本真理仍然是一个挑战。一般来说,重新思考如何正确评估LLM是一个有价值的未来方向。
LLM作为在图上学习的注释器。在本文中,我们对采用LLM作为注释器进行了初步实验。我们发现,第一个挑战在于如何选择高质量的伪标签。最近,一些工作对如何评估“黑盒LLM”的不确定性进行了初步研究。当将这些方法应用于图域时,我们还需要考虑节点在图中的作用。具体而言,不同的节点在图中表现出不同的重要性,这意味着注释其中一些节点可能更有利于整体性能。因此,研究如何同时找到LLM的置信节点和图的重要节点是很重要的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/79978.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

c++23中的新功能之十四输入输出指针

一、介绍 在c的发展过程中,无论如何发展,c都尽量保持着与C语言的兼容,当然这也是它的一个特点。在实际的应用中,开发者经常遇到的一个问题是,如何把一个指针的值给传出来?有人会说,简单啊&…

七天学会C语言-第一天(C语言基本语句)

一、固定格式 这个是C程序的基本框架&#xff0c;需要记住&#xff01;&#xff01;&#xff01; #include<stdio.h>int main(){return 0; }二、printf 语句 简单输出一句C程序&#xff1a; #include<stdio.h> int main(){printf("大家好&#xff0c;&quo…

数据优化与可视化:3D开发工具HOOPS在BIM模型轻量化中的作用分析

在建筑和工程领域&#xff0c;BIM&#xff08;建筑信息建模&#xff09;是一种重要的数字化工具&#xff0c;但大型BIM模型往往需要大量的计算资源和存储空间。为了解决这一问题&#xff0c;HOOPS技术成为了一种关键工具&#xff0c;可以帮助实现BIM模型轻量化&#xff0c;提高…

[运维|数据库] mysql触发器转postgresql触发器代码示例

mysql触发器 CREATE 、TRIGGER delete_auth_panel AFTER DELETE ON panel_group FOR EACH ROW select delete_auth_source(OLD.id,panel) into ee; 其中 delete_auth_source是函数 转化为PostgreSQL语法示例如下 CREATE OR REPLACE FUNCTION delete_auth_panel() RETURNS TR…

localhost和127.0.0.1的区别

localhost和127.0.0.1都是用于指向本地计算机的地址&#xff0c;但它们在作用和原理上存在一些区别。 作用&#xff1a;localhost是一个域名&#xff0c;通常指向127.0.0.1的IP地址。当我们在设置程序为本地服务时&#xff0c;使用localhost是最好的&#xff0c;因为它不会解析…

uni-app 前端项目(vue)部署到本地win系统Nginx上

若依移动端的项目&#xff1a;整合了uview开源ui框架&#xff0c; 配置后端请求接口基本路径地址&#xff1a; 打包复现到nginx下&#xff1a; 安装个稳定版本的&#xff1a;nginx-1.24.0 部署配置&#xff1a; 增加了网站&#xff1a;8083端口的&#xff0c; 网站目录在ngi…

怒刷LeetCode的第2天(Java版)

目录 第一题 题目来源 题目内容 解决方法 方法一&#xff1a;滑动窗口 方法二&#xff1a;双指针加哈希表 第二题 题目来源 题目内容 解决方法 方法一&#xff1a;二分查找 方法二&#xff1a;归并排序 方法三&#xff1a;分治法 第三题 题目来源 题目内容 解…

Spring AOP使用指南: 强大的面向切面编程技术

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

照片批量处理 7000张

需求&#xff1a; 有6700照片导入系统&#xff1b; 系统只支持500张/每次&#xff1b; 6700 按机构分类复制提取出来&#xff1b; 分批次导入&#xff1b; 6700 分17份复制到对应文件夹中&#xff1b; 照片按照学号命名的&#xff1b; 20231715401.jpg 开始用bat脚本…

c#对接webservice接口

方式一&#xff1a;需要填写地址&#xff0c;不能映射每个方法 工具类 using System; using System.CodeDom.Compiler; using System.CodeDom; using System.Collections.Generic; using System.IO; using System.Linq; using System.Net; using System.Text; using System.T…

9月8日作业

思维导图 栈stack.h #ifndef STACK_H #define STACK_H #include <iostream> #define MAXSIZE 128using namespace std; class Stack { public://构造函数Stack();//析构函数~Stack();//拷贝构造函数Stack(const Stack &other);//入栈bool push(int value);//出栈并返…

技师学院物联网实训室建建设方案

一、概述 1.1专业背景 物联网&#xff08;Internet of Things&#xff09;被称为继计算机、互联网之后世界信息产业第三次浪潮&#xff0c;它并非一个全新的技术领域&#xff0c;而是现代信息技术发展到一定阶段后出现的一种聚合性应用与技术提升&#xff0c;是随着传感网、通…

Docker 恶意挖矿镜像应急实例

01、概述 当网络流量监控发现某台运行多个docker容器的主机主动连接到一个疑似挖矿矿池的地址时&#xff0c;需要快速响应和排查&#xff0c;以阻止进一步的损害。 面对docker容器的场景下&#xff0c;如何快速分析和识别恶意挖矿容器?本文将分享一种应急响应思路&#xff0c;…

ARTS打卡第三周

概述 infoq的arts打卡学习&#xff0c;贯彻左耳朵耗子的学习理念&#xff0c;活到老学到老&#xff0c;每天都精进一点&#xff0c;上个星期没有写打卡文档&#xff0c;只能用工作太忙为借口为自己开脱了 一、Algorithm 一道算法题 最近工作使用算法场景较少&#xff0c;基本上…

基于matlab实现的电力系统稳定性分析摆幅曲线代码

完整程序&#xff1a; clear; clc; t 0; tf 0; tfl 0.5; tc 0.5; % tc 0.05, 0.125, 0.5 sec for 2.5 cycles, 6.25 cycles & 25 cycles resp ts 0.05; m 2.52 / (180 * 50); i 2; dt 21.64 * pi / 180; ddt 0; time(1) 0; ang(1) 21.64; pm 0.9; pm1 2.44;…

Redis3.2.1如何设置远程连接?允许局域网访问

背景&#xff1a; 电脑A的redis需要开放给电脑B使用&#xff0c;二者处于同一局域网 【后面会补充更详细的踩坑历程&#xff0c;先发出来作为记录】 过程&#xff1a; 在你查了很多方法后&#xff0c;如果还是没有解决&#xff0c; 尝试考虑一下你的redis配置文件是不是修…

零基础VB6无壳P-CODE逆向分析(VB Decompiler应用与避坑)

> 前言 最近从朋友那里拿到了一个加密狗授权的软件安装包,秉承着LCG的精神,开启了逆向之路,经过查壳和综合分析确定是VB6编写的程序(这年头使用VB6开发商业程序的还真少见),作为一名C# Winform的业余程序员,靠着C#的知识勉强分析个大概. > 授权简介 软件共分三种授权模…

LeetCode LCP 50. 宝石补给

【LetMeFly】LCP 50.宝石补给 力扣题目链接&#xff1a;https://leetcode.cn/problems/WHnhjV/ 欢迎各位勇者来到力扣新手村&#xff0c;在开始试炼之前&#xff0c;请各位勇者先进行「宝石补给」。 每位勇者初始都拥有一些能量宝石&#xff0c; gem[i] 表示第 i 位勇者的宝…

一场深刻的开源聚会:KCC@北京 9.2 活动回顾

开源为我们带来了什么&#xff1f;这是这场聚会的宣传文的标题&#xff1a;https://mp.weixin.qq.com/s/5sR6TPEpQmYNBnCtVilkzg 同样这个问题也可以是极具个体化的&#xff1a;开源为我带来了什么&#xff1f;秋天的周末&#xff0c;预报有雨&#xff0c;北京的开源人还是相聚…

脚本:用python实现五子棋

文章目录 1. 语言2. 效果3. 脚本4. 解读5. FutureReference 1. 语言 Python 无环境配置、无库安装。 2. 效果 以第一回合为例 玩家X 玩家0 3. 脚本 class GomokuGame:def __init__(self, board_size15):self.board_size board_sizeself.board [[ for _ in range(board_…