WeekPaper:GraphTranslator将知识图谱与大模型对齐

在这里插入图片描述
GraphTranslator: 将图模型与大型语言模型对齐,用于开放式任务。
将基于图的结构和信息与大型语言模型的能力整合在一起,以提高在涉及复杂和多样数据的任务中的性能。其目标是利用图模型和大型语言模型的优势,解决需要处理和理解结构化和非结构化数据的各种任务。对齐过程可能涉及调整图结构和基于语言的表示之间的表示和交互,以有效处理各个领域中的开放式任务。

视频地址:https://space.bilibili.com/431850986/channel/series
Git地址:https://datawhalechina.github.io/whale-paper/

目录

在这里插入图片描述

背景

在这里插入图片描述

  • “神经处理结构化输入” - 表明图神经网络(GNNs)旨在处理以图形式结构化的数据。
  • “SOTA性能和广泛应用范围” - SOTA可能代表“最新技术”,表明GNN在各种应用中取得领先性能。
  • “受限于预定义格式内的任务” - 后面跟着一个括号中的示例:“(例如,节点分类)”。
    常见任务:
  • “节点分类” - 显示了一个小图,有节点(圆圈)和连接节点的边(线)。一个节点被突出显示,表示分类的目标节点。
  • “图分类” - 描绘了两个不同结构的图,暗示了对整个图进行分类的任务,而不是对单个节点进行分类。
  • “社区检测” - 显示了一个较大的图,节点被聚类,并用不同颜色标记。一个虚线红色框围绕着一个社区,表示在图中检测到一个社区。

在这里插入图片描述

  • 基础模型
  • 下游任务适配
  • 在开域领域表现好
  • 在特定领域不一定有小模型好,幻觉问题
  • 大型语言模型的特点:
  • “当参数数量达到一定规模时,模型参与度大”
  • “展示出对开放式任务的强大能力”
  • “由于产生幻觉和成本高昂,无法适应纯定义任务的真实自然语言指令”

动机

在这里插入图片描述

  • 图数据送给大模型,是生成节点的embedding
  • 现有工作:LLM作为增强器,LLM作为预测器
  • “Goals”:建立一个既能解决预定义任务又能处理开放式任务的模型的目标。有一个文本框强调了创造具有这种双重能力的模型的愿望。
  • “Challenges”:“预训练GM和LLM之间的显著模态差距”和“缺乏用于连接GM和LLM的对齐数据”。这表明由于模态之间的差异以及缺乏有效对齐数据,整合图形模型和语言模型存在困难。

model

在这里插入图片描述

  • 四个模块
  • 学习文本属性图模型的节点表示
  • 使用GraphTranslator处理预定义任务
  • 构建、对齐、连接(节点表示、描述性文本)对。
  • 作为预定义、后续和开放式任务的统一接口,根据人类指令进行训练。

在这里插入图片描述

  • “Frozen Graph Model”(冻结图模型)
  • “Text-Attributed Graph”(文本属性图),后面跟着一个关于图G的数学符号描述,TAG G = (V, A, {S_0}uSEV)。BoW代表词袋模型
  • 一个节点的特征向量与其邻居的特征向量进行聚合,然后通过函数sigma和权重矩阵W进行转换

在这里插入图片描述

  • 生产者模块”(Construct Model: Producer Module)
  • 节点对齐数据:描述了节点对齐数据包括节点特征、邻居信息以及它们与时间戳的组合
  • 使用“思维链(CoT)引导 GPT 逐步生成高质量描述”
  • 流程图,包含三个主要组件标记为 A、B 和 C。每个组件之间通过箭头连接,表示信息流或处理步骤。这些组件描述如下:
    A. 源节点信息
    B. 摘要邻居信息
    C. 聚合器

在这里插入图片描述

  • “翻译模块”(Translator Module)的模型
  • 分两个阶段
  • 翻译模块的架构,分为两个训练阶段:
    • 训练阶段1:对齐 GM-Text
    • 训练阶段2:对齐 GM-LM
  • 共享自注意力: 用于在两个编码器之间对齐或相关信息的机制

在这里插入图片描述

  • 阶段1:对比学习loss
  • 翻译器(Translator)
    共享注意力(Shared Attention)
  • 查询标记(Query Tokens)和描述性标记(Descriptive Tokens)
  • 交叉注意力(Cross Attention)
  • 模型训练(阶段1)构建: 右侧包括三个项目符号,每个描述一个不同的目标:
    • 对比目标(Contrastive Objective): 包括节点表示对齐和在批次内计算相似性。
    • 节点匹配目标(Node Matching Objective): 包括将标记与文本表示匹配和对齐。
    • 节点表示目标(Node Representation Objective): 包括生成,特别是用特殊标记替换第一个标记作为解码器解决的任务。
      在这里插入图片描述
  • 阶段2:过一个投影层,总结用户和邻接节点的信息去生成response
  • 图表展示了一个机器学习模型的架构,包括以下组件和步骤:
    • H_stage1: 这个组件代表第一阶段训练的输出。
    • Projector: 一个线性层,用于将H_stage1投影到LLM(大型语言模型)的标记表示空间。
    • Cross Attention和Shared Self-Attention: 这两个组件接收投影输出,并可能涉及在模型中对不同部分进行关注和交互。
    • Language Response和Descriptive Actions: 这些组件可能与模型的输出和相应的描述性动作或指令有关。
  • 使用线性层将H_stage1投影到LLM的标记表示空间。
  • 将投影表示与人类指令连接,并通过对齐描述性文本的翻译器,将其输入到微调响应文本中。

实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

结论

在这里插入图片描述
综述文章
在这里插入图片描述
“Towards Graph Foundation Models: A Survey and Beyond(走向图基础模型:调查与未来)”摘要讨论了基础模型在各个领域的重要性,特别是在自然语言处理和其他人工智能应用中。它提到这些模型由于其迁移学习能力在多个领域取得了显著成功。该论文旨在探索图基础模型的潜力以及它们在各种下游任务中的适应性。它还讨论了图学习范式同质化能力的挑战,以及需要多样化和去中心化方法的必要性。
作者提出了通过大数据和学习方法上的预训练图进行转变性转变。摘要指出,该论文将对现有关于图基础模型的工作进行系统回顾,包括它们的分类、使用的技术和框架,以及对该领域未来的影响。它还提到该论文将讨论开放挑战、新方向以及在这一领域跨学科研究的重要性。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/787906.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python深度学习034:cuda的环境如何配置

文章目录 1.安装nvidia cuda驱动CMD中看一下cuda版本:下载并安装cuda驱动2.创建虚拟环境并安装pytorch的torch_cuda3.测试附录1.安装nvidia cuda驱动 CMD中看一下cuda版本: 注意: 红框的cuda版本,是你的显卡能装的最高的cuda版本,所以可以选择低于它的版本。比如我的是11…

Prometheus+grafana环境搭建redis(docker+二进制两种方式安装)(四)

由于所有组件写一篇幅过长,所以每个组件分一篇方便查看,前三篇 Prometheusgrafana环境搭建方法及流程两种方式(docker和源码包)(一)-CSDN博客 Prometheusgrafana环境搭建rabbitmq(docker二进制两种方式安装)(二)-CSDN博客 Prometheusgrafana环境搭建m…

HarmonyOS实战开发-一次开发,多端部署-视频应用

介绍 随着智能设备类型的不断丰富,用户可以在不同的设备上享受同样的服务,但由于设备形态不尽相同,开发者往往需要针对具体设备修改或重构代码,以实现功能完整性和界面美观性的统一。OpenHarmony为开发者提供了“一次开发&#x…

Ubuntu20.04安装MatlabR2018a

一、安装包 安装包下载链接 提取码:kve2 网上相关教程很多,此处仅作为安装软件记录,方便后续软件重装,大家按需取用。 二、安装 1. 相关文件一览 下载并解压文件后,如下图所示: 2. 挂载镜像并安装 2…

python实战之宝塔部署flask项目

一. 项目 这个demo只是提供了简单的几个api接口, 并没有前端页面 # -*- coding: utf-8 -*- import flask as fk from flask import jsonify, requestapp fk.Flask(__name__)app.route(/api/hello, methods[GET]) def get_data():return hello world# 假设我们要提供一个获取用…

rabbitmq死信交换机,死信队列使用

背景 对于核心业务需要保证消息必须正常消费,就必须考虑消费失败的场景,rabbitmq提供了以下三种消费失败处理机制 直接reject,丢弃消息(默认)返回nack,消息重新入队列将失败消息投递到指定的交换机 对于核…

vi/vim编辑器

一:vi/vim编辑器介绍 vi\vim 是visual interface简称,是Linux中最经典的文本编辑器 vim是vi的加强版,兼容vi的所有命令,而且还具有shell编程能力 二vi/vim编译器的三种工作模式 一:命令模式 二输入模式:编程模式,此模式下可对…

【电路笔记】-逻辑与门

逻辑与门 文章目录 逻辑与门1、概述2、2 输入晶体管与门3、数字与门类型4、7408 四路 2 输入与门逻辑与门是一种数字逻辑电路,仅当其所有输入均为高电平时,其输出才会变为高电平至逻辑电平 1。 1、概述 数字逻辑与门的输出状态仅在其任何输入处于逻辑电平“0”时再次返回“低…

每日一题 --- 右旋字符串[卡码][Go]

右旋字符串 题目:55. 右旋字符串(第八期模拟笔试) (kamacoder.com) 题目描述 字符串的右旋转操作是把字符串尾部的若干个字符转移到字符串的前面。给定一个字符串 s 和一个正整数 k,请编写一个函数,将字符串中的后面…

HarmonyOS 应用开发之同步任务开发指导 (TaskPool和Worker)

同步任务是指在多个线程之间协调执行的任务,其目的是确保多个任务按照一定的顺序和规则执行,例如使用锁来防止数据竞争。 同步任务的实现需要考虑多个线程之间的协作和同步,以确保数据的正确性和程序的正确执行。 由于TaskPool偏向于单个独…

scRNA+bulk+MR:动脉粥样硬化五个GEO数据集+GWAS,工作量十分到位

今天给大家分享一篇JCR一区,单细胞bulkMR的文章:An integrative analysis of single-cell and bulk transcriptome and bidirectional mendelian randomization analysis identified C1Q as a novel stimulated risk gene for Atherosclerosis 标题&…

MySQL 索引优化(一)

索引创建原则 先写代码,再建索引 不应该在创建完表之后立马就创建索引,等主体业务开发完毕以后,再把涉及到该表的 sql 分析过后再建立索引。联合索引尽量覆盖查询条件 在设计一个联合索引的时候,让联合索引尽可能的包含 sql 语句…

rtph264depay插件分析笔记

1、rtp协议头 2、rtp可以基于TCP或者UDP 其中基于TCP需要加4个字节的RTP标志 3、rtph264depay定义解析函数gst_rtp_h264_depay_process,通过RFC 3984文档实现。 static void gst_rtp_h264_depay_class_init (GstRtpH264DepayClass * klass) {GObjectClass *gobject…

AI资讯2024-04-02 | 前微软副总裁姜大昕携「阶跃星辰」入场,出手即万亿参数大模型!

关注文章底部公众号获取每日AI新闻,以及各种好玩的黑科技,如AI换脸,AI数字人,AI生成视频等工具 阶跃星辰发布万亿参数大模型 终于!国内大模型创业公司最后一位强实力玩家入场——阶跃星辰。它是由微软前全球副总裁姜大昕所创办,公司名称也来源于,发了三个大模型:Step-…

当msvcp120.dll文件找不到了要怎么解决?教你靠谱的3种修复msvcp120.dll方法

当出现msvcp120.dll文件丢失的问题时,不用担心,这是一个常见的情况。在日常使用电脑时,误删或受到计算机病毒影响都可能导致这个问题。为了解决这个问题,今天我们将向大家介绍正确的msvcp120.dll修复方法。 一.msvcp120.dll文件是…

体验OceanBase 的binlog service

OceanBase对MySQL具备很好的兼容性。目前,已经发布了开源版的binlog service工具,该工具能够将OceanBase特有的clog模式转换成binlog模式,以便下游工具如canal、flink cdc等使用。今天,我们就来简单体验一下这个binlog service的功…

RA8889/RA8876显示自定义ASCII字符方法

本文介绍用户自己生成的ASCII字库如何通过RA8889/RA8876显示到液晶屏上。 先上一张实例效果图: 再上程序代码: int main(void) {unsigned short x,y;/* System Clocks Configuration */RCC_Configuration(); delay_init(72); GPIO_Configuration(); …

转圈游戏(acwing)

题目描述: n 个小伙伴(编号从 0 到 n−1)围坐一圈玩游戏。 按照顺时针方向给 n 个位置编号,从 0 到 n−1。 最初,第 0 号小伙伴在第 0 号位置,第 1 号小伙伴在第 1 号位置,…

Redis面试题10道

1、什么是 Redis?简述它的优缺点? Redis 的全称是:Remote Dictionary.Server,本质上是一个 Key-Value 类型的内存数据库,很像 memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作…

前端学习<二>CSS基础——17-CSS3的常见边框汇总

CSS3 常见边框汇总 <!DOCTYPE html><html lang"en"><head><meta charset"UTF-8"><title>CSS3 边框</title><style>body, ul, li, dl, dt, dd, h1, h2, h3, h4, h5 {margin: 0;padding: 0;}​body {background-c…