论文导读 | 融合大规模语言模型与知识图谱的推理方法

前 言

大规模语言模型在多种自然语言处理相关任务上展现了惊人的能力,如智能问答等,但是其推理能力尚未充分展现。本文首先介绍大模型进行推理的经典方法,然后进一步介绍知识图谱与大模型融合共同进行推理的工作。

图片

文章一:使用思维链提示方法“召唤”大模型的推理能力

本文方法主要提出了一个提示词构建方法,通过大规模语言模型完成复杂的推理任务。大量实验表明本文所提方法能够显著提高大模型执行复杂推理的能力。该项工作动机是人在进行复杂任务推理时往往将问题分解为多步简单问题,逐步解决每个简单问题后即可推理得到复杂问题的最终答案。

如下图例子中,左边是传统的提示词方法,首先给出一组问题样例及答案,然后给出问题,大模型输出内容即为最终答案。由于该数学问题较为复杂,大模型未能回答正确。不同于传统直接给出最终答案的提示词,右边图中的提示词在样例答案中给出了推理过程和最终答案(蓝色高亮),而大模型的回答同样给出了推理过程和正确答案。

图片

从实验结果可以看出,思维链提示方法(橙色)比传统提示方法(黄色)的解决率提高了三倍。

图片

本文在数学推理、常识推理和符号推理三种任务上进行了广泛的测试,测试任务示例和结果见下图。

1. 数学推理问题

图片

图片

结果中蓝色圈点为本文所提方法,橙色虚线为有监督方法的最佳结果,可以看出在数学推理问题上,大模型在很多情况下都超过了有监督方法的表现。

2. 常识推理问题

图片

图片

结果中绿色虚线是人工推理结果,从中可以看出,在体育类常识推理任务上,大模型的推理能力甚至超越了人工表现。

3. 符号推理问题

图片

图片

从结果中可以看出,传统提示词方法下大模型基本不具备姓名尾字母缩写能力,而通过本文所提思维链提示方法,大模型在该任务的表现接近100%。

图片

文章二:面向零样本知识图谱问答的知识增的强语言模型提示方法

仅通过大规模语言模型进行问答可能包含过期数据等问题,而修改大模型的参数代价又较高,因此通过提示词方法向大模型注入准确的知识图谱数据可以使用大模型完成正确率更高的知识图谱问答。

本文提出了知识增强的大模型问答方法KAPING(Knowledge-Augmented language model PromptING),具体是从知识图谱中抽取相关的事实三元组,并将其作为提示信息输入到大模型。因此在这一方法中,如何抽取最相关的三元组是需要解决的主要问题。所提方法分为三个模块:知识获取-知识表达-知识注入。整体结构见下图。

图片

1. 知识获取

知识获取的目标从给定问题中抽取相关的实体。例如问题“who is the author of Lady Susan?”中的相关实体为Lady Susan。本模块采用的方法为传统的实体链接方法。然而,该实体相关三元组可能规模较大,且并非所有都与问题相关。基于这一考虑,本文首先采用已有的句子表示模型,分别将三元组和问题映射到统一表示空间,选择前K个与问题语义最相似的三元组。

2. 知识表达

知识表达的目标是将三元组转化为文本形式的表示。本文方法中,直接将三元组表示为“(Lady Susan, written by, Jane Austen)”。

3. 知识注入

知识注入的目标是根据三元组和给定问题构建大模型提示词。构建方法为首先列出N个相关三元组,然后增加说明信息“Below are facts in the form of the triple meaningful to answer the question”。整体提示词示例见上图中黄色标识内容。

图片

本文使用不同大模型在两个不同数据集上进行了大量实验,实验结果表明所提KAPING框架显著优于所有大模型的基线方法,且当大模型规模相对较小时,我们可以观察到更明显的性能改进。

图片

文章三:基于知识图谱与大型语言模型的深度负责推理

本文所提方法整体结构如下图所示(ToG),从给定问题出发,每一步推理都要经过扩展-推理的过程,每步推理都是基于问题通过大模型在知识图谱数据中搜索下一步推理的相关路径。在这一架构下,既可以避免大模型的数据过期问题,又可以增加模型推理结果的可解释性。

图片

推理过程示例见下图。主要步骤为首先识别输入问题中的主题实体,然后利用大模型对外部知识图谱进行探索和推理,检索相关的路径。如此循环直到达到最大步数或得到推理答案。

图片

所提方法推理过程如下图中算法所示。

图片

图片

从简单的实验结果可以看出,本文所提方法相比于思维链提示推理方法,推理结果得到了显著提升。

总 结

大规模语言模型在推理领域的应用是近期的热门问题,将大规模语言模型隐式的参数化知识与知识图谱中结构化的知识融合进而增强推理能力是值得探索的方案之一。本文介绍的三项工作中,第一项工作通过简单的提示方法让大模型展现出了让人惊叹的推理能力,第二三项工作则是在大模型基础上,通过不同方法融合知识图谱的结构化知识,从而使用大模型进行推理,但是目前融合方法比较简单,该方向仍然存在一定研究空间。

参考文献

[1] Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., ... & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35, 24824-24837.

[2] Baek, J., Aji, A. F., & Saffari, A. (2023). Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering.arXiv preprint arXiv:2306.04136.

[3] Sun, J., Xu, C., Tang, L., Wang, S., Lin, C., Gong, Y., ... & Guo, J. (2023). Think-on-graph: Deep and responsible reasoning of large language model with knowledge graph.arXiv preprint arXiv:2307.07697.

图片

图片

祝我们的少飞博后出站快乐,工作顺利。

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/141946.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

好消息!2023年汉字小达人市级比赛在线模拟题大更新:4个组卷+11个专项,助力孩子更便捷、有效、有趣地备赛

自从《中文自修》杂志社昨天发通知,官宣了2023年第十届汉字小达人市级比赛的日期和安排后,各路学霸们闻风而动,在自己本就繁忙的日程中又加了一项:备赛汉字小达人市级比赛,11月30日,16点-18点。 根据这几年…

创建符合 Web 可访问性标准的 HTML 布局

人们常说网络可访问性是当今万维网的“必须”。“Web 可访问性”一词定义了开发人员需要遵循的一组准则,以使残障人士和 Web 应用程序的交互更加方便。任何网站的内容、UI/UX 设计和布局都应该易于访问。在本文中,Logicify团队为 HTML/CSS 开发人员提供了…

【开题报告】基于uni-app的高校新生报道APP的设计与实现

1.选题背景和意义 随着高校规模的不断扩大和信息化技术的迅速发展,传统的高校新生报道方式已经无法满足日益增长的新生数量和信息处理的需求。传统的线下报道流程通常存在着信息收集效率低、报到流程繁琐等问题,给学生、教职工和管理人员带来了许多不便…

C 语言指针怎么理解?

今日话题,C 语言指针怎么理解?让我用更简洁的方式来表达这个内容:就像桌面上的快捷方式一样,指针也可以有多层引用。我们可以将指针比作快捷方式的图标,快捷方式可以指向游戏(普通指针)&#xf…

【JavaEE初阶】IP协议简介

文章目录 前言🌴IP协议的概念🌳IP数据报🚩IPv4协议头格式🚩IPv6的诞生 🎍IP地址🚩IP地址的格式:🚩IP地址的分类🎈网络号与主机号的划分 🚩特殊的IP地址&#…

【机器学习】八、规则学习

知识图谱与基本概念 基本概念 规则学习定义:从训练数据中学习出一组能用于对未见示例进行判别的规则。 规则定义:规则一般是:语义明确、能描述数据分布所隐含的客观规律或领域概念。 逻辑规则定义:⊕←?1⋀?2⋀?3…⋀??⊕…

任意注册漏洞

目录 一漏洞介绍 二实战演示 三漏洞修复 本文由掌控安全学院 - 小博 投稿 一漏洞介绍 1.未验证邮箱/手机号 情景:应用为了方便用户记录用户名,使用邮箱和手机号作为用户名(因此很多应用在注册的时候就要求用户填写,多数时候…

CTFSHOW -SQL 注入

重新来做一遍 争取不看wp 还是看了。。。。 CTFshow sql注入 上篇(web171-220)更新中 - 掘金 【精选】CTFshow-WEB入门-SQL注入(上)_having盲注_bfengj的博客-CSDN博客 web171 基本联合注入 拿到题目我们已经知道了是sql注入 所以我们可以直接开始 第一题 不会难道哪里去…

软考 系统架构设计师系列知识点之云计算(2)

接前一篇文章:软考 系统架构设计师系列知识点之云计算(1) 所属章节: 第11章. 未来信息综合技术 第6节. 云计算和大数据技术概述 3. 云计算的部署形式 根据NIST(National Institute of Standards and Technology&…

Pytorch常用的函数(四)深度学习中常见的上采样方法总结

Pytorch常用的函数(四)深度学习中常见的上采样方法总结 我们知道在深度学习中下采样的方式比较常用的有两种: 池化 步长为2的卷积 而在上采样过程中常用的方式有三种: 插值 反池化 反卷积 不论是语义分割、目标检测还是三维重建等模型&#xff0…

ios 对话框 弹框,输入对话框 普通对话框

1 普通对话框 UIAlertController* alert [UIAlertController alertControllerWithTitle:"a" message:"alert12222fdsfs" pr…

企业大楼门禁,千万不要这么管理!太慢了!

随着社会科技的飞速发展,安全管理已经成为各行业关注的焦点之一。在这个信息化时代,门禁监控系统作为一种全面提升安全性、管理效率的关键工具,逐渐成为企事业单位、学校、医疗机构等场所的不可或缺的一部分。 传统的门禁系统已经无法满足现代…

【移远QuecPython】EC800M物联网开发板的硬件TIM定时器精准延时

【移远QuecPython】EC800M物联网开发板的硬件TIM定时器精准延时 文章目录 导入库定时器初始化延时函数定时中断回调调用函数打包附录:列表的赋值类型和py打包列表赋值BUG复现代码改进优化总结 py打包 首先 这个定时器是硬件底层级别的 优先级最高 如果调用 会导致GN…

JavaScript库:jQuery,简化编程

jQuery介绍 官方网站: https://jquery.com jQuery 是一个 JavaScript 库 。极大地简化了 JavaScript 编程,例如 JS 原生代码几十行 实现的功 能, jQuery 可能一两行就可以实现,因此得到前端程序猿广泛应用。(现在处在比较边…

IO数据采集卡

串口modbus rtu 网口

微信自动添加好友

简要描述: 添加微信好友 请求URL: http://域名地址/addUser 请求方式: POST 请求头Headers: Content-Type:application/jsonAuthorization:login接口返回 参数: 参数名必选类型说明wId…

a网站加载了b网站的资源(比如字体)ttf|otf|eot|woff|svg|woff2的资源,未配置发现会提示跨域

目录 问题 apache nginx 问题 a网站加载了b网站的资源(比如字体)ttf|otf|eot|woff|svg|woff2的资源,未配置发现会提示跨域 分析了下根源还是资源请求跨域,为啥css js正常能获取呢,这就跟web服务的资源配置有关系了 apache <FilesMatch ".(ttf|otf|eot|woff|svg…

记一次 .NET 某券商论坛系统 卡死分析

一&#xff1a;背景 1. 讲故事 前几个月有位朋友找到我&#xff0c;说他们的的web程序没有响应了&#xff0c;而且监控发现线程数特别高&#xff0c;内存也特别大&#xff0c;让我帮忙看一下怎么回事&#xff0c;现在回过头来几经波折&#xff0c;回味价值太浓了。 二&#…

性能测试?

一、什么是性能测试 先看下百度百科对它的定义 性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试 我们可以认为性能测试是&#xff1a;通过在测试环境下对系统或构件的性能进行探测&#xff0c;用以验证在生产环境下系统性能…