【LLM之NL2SQL】DAIL-SQL论文阅读笔记

研究背景

该研究旨在提供一个全面、系统的评估框架,用于评估基于大型语言模型(LLM)的Text-to-SQL技术。特别强调了不同的提示工程策略的有效性和效率,以及开源LLM的可行性。研究的重点是评估在零样本和少样本场景下的不同问题表示方式,样本选择和组织策略的效果。

研究目标

研究目标是提供Text-to-SQL提示工程的系统性和深入理解,通过实证评估先前研究中的几种策略,并探索开源LLM在不同提示工程策略下的性能表现。

相关工作

相关工作部分详细讨论了基于LLM的Text-to-SQL的各种方法,包括五种问题表示方法、两种提示组件、四种样本选择和三种样本组织策略。

五种问题表示方法

  • 基础提示 (Basic Prompt, BS P):只包括表结构和自然语言问题,问题部分以“Q:”开头,回应以“A: SELECT”开头,促使LLM生成SQL。
    在这里插入图片描述
  • 文本表示提示 (Text Representation Prompt, TR P):包括指令、表结构和问题,用自然语言表示,相较于基础提示,它在提示开始时添加了指导性的语句。
    在这里插入图片描述
  • OpenAI演示提示 (OpenAI Demonstration Prompt, OD P):在官方演示中使用,包括指令、表结构和问题,所有信息都用井号“#”注释。
    在这里插入图片描述
  • 代码表示提示 (Code Representation Prompt, CR P):以SQL语法呈现Text-to-SQL任务,直接展示“CREATE TABLE” SQL,提示中包含自然语言问题。
    在这里插入图片描述
  • Alpaca SFT提示 (Alpaca SFT Prompt, AS P):专为监督微调设计的提示,遵循指令并根据输入上下文完成任务。
    在这里插入图片描述

两种提示组件
指令 (Instruction, INS):如“编写一个SQL来回答问题”,用于描述任务。
规则含义 (Rule Implication, RI):如“仅完成sqlite SQL查询并且不需要解释”,用于引导LLM的生成过程。

四种样本选择策略
随机选择 (Random):从可用候选项中随机抽取样本。
问题相似性选择 (Question Similarity Selection, QTS S):选择与目标问题最相似的样本。
掩码问题相似性选择 (Masked Question Similarity Selection, MQS S):在计算相似性前,用掩码替换所有问题中的表名、列名和值。
目标SQL相似性选择 (Query Similarity Selection, QRS S):选择与目标SQL查询最相似的样本。

两种样本组织策略
完整信息组织 (Full-Information Organization, FIO):示例完整地提供问题和对应的SQL,帮助模型理解和学习两者之间的映射关系。(输入包括数据库结构信息、相似sql QA对)
在这里插入图片描述
仅SQL组织 (SQL-Only Organization, SOO):此策略仅使用SQL语句作为样本,不包括任何自然语言问题描述。它强调直接学习SQL语句的构造,适合在模型已经具备一定理解基础的情况下,专注于提升SQL生成的准确性。
在这里插入图片描述

方法论

问题表示 (Question Representation)

DAIL-SQL 使用Code Representation (CR P) 作为问题表示方法。这种表示方式包括数据库的完整信息,如主键和外键,这些信息对于预测如“JOIN”子句等SQL结构特别有用。CR P在预训练的编码语料库上进行训练,因此LLMs能够更好地理解并处理这种格式的提示。在这里插入图片描述

样本选择 (Example Selection)

DAIL-SQL采用了一种名为DAIL Selection的样本选择策略,这种策略不仅考虑问题的相似性,也考虑查询的相似性。这种选择方法首先在目标问题和候选样本问题中屏蔽掉特定领域的词汇,然后根据问题和查询的欧几里得距离来对候选样本进行排序,并选择那些与目标查询有高相似度的样本。

样本组织 (Example Organization)

为了保留问题与SQL查询之间的映射信息并提高令牌效率,DAIL-SQL 提出了一种新的样本组织策略,名为DAIL Organization。这种策略在保留问题-SQL映射的同时,通过移除令牌成本较高的数据库模式信息来减少样本的令牌长度。
在这里插入图片描述

实验

实验设计

实验设计包括在Spider和BIRD数据集上评估DAIL-SQL的效果,测试了不同的提示策略和LLM模型。使用执行准确性(Execution Accuracy,EX)和精确集合匹配(Exact Set Match,ESM)作为主要评估指标。

实验结论

  • DAIL-SQL在Spider和BIRD数据集上均达到了新的最佳性能,特别是在执行准确性方面,超过了现有的所有基线模型和方法。
  • 在问题表示方面,Code Representation (CR P) 表现出最好的效果,显示了结构化提示对提升模型理解和处理能力的重要性。
  • DAIL样本选择策略在精确度和效率上均优于随机选择,表明针对性的样本筛选和优化是提升性能的关键。
  • DAIL组织策略通过精确地控制信息展示,有效减少了不必要的令牌消耗,同时保持了高查询准确性。

参考资料

  • 论文
  • 代码

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/856844.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

webgis 之 地图投影

地图投影 什么是地图投影目的种类等角投影的分类墨卡托投影Web 墨卡托投影 参考小结 为了更好地展示地球上的数据,需要将地球投影到一个平面上。地图投影是一个数学问题,按照一定的几何关系,将地球上的经纬度坐标映射到一个平面上的坐标。地球…

力扣hot100:(The Last one)287. 寻找重复数(快慢指针,静态链表)

LeetCode&#xff1a;287. 寻找重复数 “暴力” 不懂技巧&#xff0c;那就暴力&#xff01; 哈希表&#xff1a; 时间复杂度&#xff1a; O ( n ) O(n) O(n) 这个题体现不出 O ( n ) O(n) O(n)的作用&#xff0c;因为 n < 100 n < 100 n<100 空间复杂度&…

区块链技术介绍和用法

区块链技术是一种分布式账本技术&#xff0c;可以记录和存储一系列交易信息&#xff0c;并通过密码学算法保证信息的安全性和不可篡改性。区块链技术的核心概念是“区块”和“链”。 每个区块包含了一部分交易信息&#xff0c;以及一个指向上一个区块的哈希值。当新的交易发生…

VirtualBox出错,从主机复制文件,乱改内容

昨天烧录机器&#xff0c;测试对方更新的一个库&#xff1a; 开始正确。后来莫名其妙崩溃。反复烧了几次&#xff0c;都错误。复制了老版本的库&#xff0c;正常。再改回新版本&#xff0c;崩溃。 于是把整个打包目录给了对方&#xff0c;他一对比&#xff0c;发现文件不对&am…

Windows应急响应靶机 - Web2

一、靶机介绍 应急响应靶机训练-Web2 前景需要&#xff1a;小李在某单位驻场值守&#xff0c;深夜12点&#xff0c;甲方已经回家了&#xff0c;小李刚偷偷摸鱼后&#xff0c;发现安全设备有告警&#xff0c;于是立刻停掉了机器开始排查。 这是他的服务器系统&#xff0c;请你…

Springboot获取resources中的文件

1.Springboot以文件的形式获取resources中的文件 import com.google.gson.JsonIOException; import com.google.gson.JsonObject; import com.google.gson.JsonParser; import com.google.gson.JsonSyntaxException; import org.springframework.util.ResourceUtils; import j…

2024.6最新版eclipse下载与安装(汉化教程)超详细教程来咯!!!包懂的

1.eclipse简介 Eclipse 是一个开放源代码的集成开发环境&#xff08;IDE&#xff09;&#xff0c;主要用于Java编程&#xff0c;但也可以通过插件支持其他编程语言&#xff0c;如C/C、Python、Perl等。Eclipse 被广泛应用于企业环境中&#xff0c;特别是在Java社区中&#xff0…

PyMuPDF 操作手册 - 02 PDF 中图像的提取、插入、创建等

文章目录 三、PDF 中提取和插入图像3.1 从 PDF 中提取图像3.2 提取矢量图形3.3 向 PDF 添加图像3.4 如何从文档页面制作图像3.5 如何提高图像分辨率3.6 如何创建局部像素贴图(剪辑)3.7 如何将剪辑缩放到 GUI 窗口3.8 如何创建或隐含注释图像3.9 如何提取图像:非 PDF 文档3.1…

selenium常见难点解决方案

勾选框勾选问题 勾选框代码逻辑实现过程&#xff1a; 第一步&#xff1a;首先找到勾选框的元素&#xff1b; 第二步&#xff1a;检查它是否已经被勾选。如果已经勾选&#xff0c;则进行取消勾选操作&#xff1b;如果未勾选&#xff0c;则进行点击勾选操作&#xff1b; 以下是一…

NGINX_十四 nginx 日志配置

十四 nginx 日志配置 1 nginx 日志介绍 ​ nginx 有一个非常灵活的日志记录模式,每个级别的配置可以有各自独立的访问日志, 所需日志模块 ngx_http_log_module 的支持&#xff0c;日志格式通过 log_format 命令来定义&#xff0c;日志对于统计和排错是非常有利的&#xff0c;…

详解 ClickHouse 的 SQL 操作

传统关系型数据库&#xff08;以 MySQL 为例&#xff09;的 SQL 语句&#xff0c;ClickHouse 基本都支持 一、插入 --语法&#xff1a; insert into table_name values(xxxxxx),(yyyyyyy),...;insert into table_name select xxxxx from table_name2 where yyyyy;二、更新和删…

代码随想录算法训练营第41天 [01背包的理论基础,二维数组解法,一维数组解法,416. 分割等和子集]

代码随想录算法训练营第41天 [01背包的理论基础&#xff0c;二维数组解法&#xff0c;一维数组解法&#xff0c;416. 分割等和子集] 一、01背包的二维数组解法 链接: 代码随想录. 思路&#xff1a;dp数组, dp[i][j]代表行李箱空间为j的情况下,从下标为[0, i]的物品里面任意取,能…

本次刷题的错题模版分析-2024年6月21日

对于错题进行分析是一个非常好的学习习惯&#xff0c;这有助于你理解自己的错误并避免将来再次犯同样的错误。以下是一个错题分析的模板&#xff0c;你可以根据自己的需要进行调整&#xff1a; 1. 错题记录 题目&#xff1a;[下列关于数组运算的描述错误的是( )。 在NumPy中&am…

C# —— 属性和字段

属性和字段的区别 1.都是定义在一个类中&#xff0c;属于类成员变量 2.字段一般都是私有的private&#xff0c;属性一般是公开的Public 3.字段以小驼峰命名方式 age&#xff0c;属性一般是以大驼峰命名 Age 4.字段可以存储数据&#xff0c;属性不能存储数据&#xff0c;通过属性…

audacity音频处理

1.安装 Audacity | Free Audio editor, recorder, music making and more! 添加OpenVINO插件: https://zhuanlan.zhihu.com/p/676542556 2.使用 2.1注意事项 1.编辑音频,点击左上方打开或导入都可以;打开视频文件则需要安装ffmpeg模块,打开后只显示视频中的音频信息; 2.编辑…

P5712 【深基3.例4】Apples

1. 题目链接 https://www.luogu.com.cn/problem/P5712 P5712 【深基3.例4】Apples 2. 题目描述 题目描述&#xff1a;小B吃了x个苹果&#xff0c;用Today, I ate x apple.造句 输入&#xff1a;输入一个自然数x 输出&#xff1a;句子 3. 我的思考 用if-else判断就行 4. 我提交…

可变分区管理 分区分配算法

First Fit Algorithm Best Fit Algorithm FFA&#xff1a;按照分区编号找到第一个能装下进程的起始地址填入第二个表 此时 原表中将起始地址进程大小 分区大小-进程大小 如此继续 BFA&#xff1a;按分区大小排序 从小到大 找到第一个能装下的 剩余步骤和FFA一样 装满了可以直…

ls命令的参数选项

ls命令的参数的作用 可以指定要查看的文件夹&#xff08;目录&#xff09;的内容&#xff0c;如果不指定参数&#xff0c;就查看当前工作目录的内容。ls 命令的选项 常用语法&#xff1a;ls [-a -l -h] [linux路径] -a 选项表示 all &#xff0c;即列出全部内容&#xff0c;包括…

JAVA学习-练习试用Java实现“不同的子序列”

问题&#xff1a; 给定一个字符串 s 和一个字符串 t &#xff0c;计算在 s 的子序列中 t 出现的个数。 字符串的一个 子序列 是指&#xff0c;通过删除一些&#xff08;也可以不删除&#xff09;字符且不干扰剩余字符相对位置所组成的新字符串。&#xff08;例如&#xff0c;&…

Linux下find命令使用介绍

Linux下的find命令是一个功能强大的文件搜索工具&#xff0c;它能够遍历指定目录层次结构&#xff0c;根据一系列预设条件来查找并操作文件和目录。find命令的灵活性在于它支持多种查找条件和操作&#xff0c;使得用户能够非常精确地定位文件系统中的内容。下面是find命令的一些…