自定义 RAG 工作流:在 IDE 中结合 RAG 编排,构建可信的编码智能体

构建编码智能体并非一件容易的事。结合我们在 AutoDev、ArchGuard Co-mate、ChocoBuilder 等智能体项目的经验,我们开始思考在 Shire 语言中提供一种新的 RAG 工作流。结合我们先前构建的 IDE 基础设施(代码生成、代码校验、代码执行等接口),现在你可以构建出更可信的编码智能体。

TL;DR(太长不看)版

现在,你可以使用 Shire + 自定义的 RAG 流程智能体编排。如下代码所示,你可以

  • 使用自己编写的 prompt 与 IDE 接口来获取代码数据

  • 对代码进行向量化、检索与普通的代码搜索

  • 将参数传递给下一个流程( execute 函数)

---
name: "Search"
variables:"placeholder": /.*.java/ { splitting | embedding }"input": "博客创建流程"
afterStreaming: {case condition {default { searching($output) | execute("SummaryQuestion.shire", $output, $input) }}
}
---
xxx
User: $input
Response:

再结合我们的代码校验、代码执行等功能,你可以构建出一个完整、可信的编码智能体。

详细见:https://shire.phodal.com/workflow/rag-flow.html

基础 Shire 能力:Pattern Action 与代码可信函数

2b13b07d2e4b4773deeb12e88bd98037.jpeg

Shire 提供了一种简便 AI 编码智能体语言,能够让大型语言模型(LLM)与控制集成开发环境(IDE)之间自由对话,以实现自动化编程。

简单来说,你可以通过 Shire 去:

  • 调用封装的 IDE API,以生成 prompt 所需的数据。在 Shire 中,数据在 prompt 中以变量的形式存在。

  • 定义在 IDE 中的行为,如何触发、如何执行,以及如何处理结果。

  • 定义简单的数据流处理,如何处理数据、如何存储数据。

因此,你可以通过 Shire 作为中间语言,访问自己的 IDE 数据,生成与 AI 模型对话的 prompt,以实现自动化编程。

Shire RAG 基础:Pattern Action 构建数据流

在先前的 Shire 中,你可以通过 variables 来自定义你的 Pattern Action,以从 IDE 中获取数据。如下所示:

---
variables:"logContent": /.*.java/ { grep("error.log") | head }
---
检查用户的代码是否有问题:$logContent

在这个例子中,我们定义了一个变量 logContent,它的值是从所有 *.java 文件中检索 error.log 的结果。最后,将结果发送给 LLM,由 AI 来进行对应的处理。

详细见:https://shire.phodal.com/shire/shire-custom-variable.html#variable-pattern-action

Shire RAG 基础:代码可信校验

Shire 的代码校验是在 Shire 生命周期的 onStreamingDone 中执行的,即在 Streaming 完成后通过一系列的后处理器对生成的内容进行处理。在现有的版本中,支持三个函数:

  • parseCode 将文本解析为代码块。

  • verifyCode 检查代码错误或 PSI 问题。

  • runCode 运行生成的文本代码。

因此,你可以采用如下的方式来处理 LLM 生成的代码:

---
onStreamingEnd: { parseCode | saveFile | openFile | verifyCode | runCode }
---
生成一个 python hello world,使用 markdown block  返回

当你启动 Shire 指令的那一刻,一场精心编排的编码舞蹈便悄然展开。首先,Shire RAG 工作流会调用 Language Model(LLM),这个强大的语言模型迅速进入状态,开始生成一段 Python 语言的经典之作——Hello World 代码块。

  • 生成的代码块接下来会通过 saveFile 功能,被小心翼翼地保存到指定的文件中。

  • 为了确保这段代码的准确性和可靠性,Shire RAG 工作流会启动 verifyCode 函数,进行严格的语法校验。

  • 一旦通过语法校验,接下来就是激动人心的时刻——通过 runCode 函数来运行这段代码。

这一刻,代码仿佛被赋予了生命,它将在 IDE 中绽放出耀眼的光芒,将 "Hello, World!" 这句问候语,优雅地展现在我们的眼前。

详细见:https://shire.phodal.com/lifecycle/on-streaming-done.html

Shire RAG 基础:Index 与 Query

结合我们先前的 RAGScript 与 RAG 项目经验,只需要通过简单的函数,就可以实现代码的检索与查询。如下所示:

---
name: "Search"
variables:"testTemplate": /.*.kt/ { splitting | embedding | searching("blog") }
---
$testTemplate

在这个例子中,我们定义了一个变量 testTemplate,它的值是从所有 *.kt 文件中检索 blog 的结果。随后,你就可以将结果发送给 LLM,由 AI 来进行对应的处理。

Shire RAG Flow:解释代码示例

1ca1e9ecb37fef490e7f80c3a8bf912d.jpeg

当我们使用领先 AI IDE (如 AutoDev VSCode 版本)的业务知识解释功能时,通常会分为 3~5 个步骤:

  1. 查询转换。将用户的问题,转换或者扩展(query expansion)为某种形式的查询语句。有的是关键词、有的是是假设性代码。

  2. 信息检索。随后,将查询的结果结合本地的数据(文本、向量等)进行检索,以获取到相关的信息。

  3. 重新排序。对检索到的信息进行排序、解释等处理,以生成对应的结果。

  4. 内容总结。最后,将结果发给 LLM,由 AI 来进行对应的处理。

根据不同的上下文或者业务需求,这个流程可能会有所不同。但是,基本的流程是一样的。而在使用 Shire 开发时,由于我们只需要和 LLM 交互两次,所以只需要两步:

  1. 将用户的问题发给 LLM,并进行检索

  2. 由 LLM 来总结上一步的结果

尽管过程简化,但是如何抽象中这种原子能力,对 Shire 提出了更高的要求。因此,在这里我们也是作为一个 PoC 来进行展示,我们将在后续的版本中,提供更多的能力。

步骤 1:使用 Shire 自定义代码检索

有了上述的基础,我们可以开始构建一个 RAG 流程。如下所示,我们可以:

---
name: "Search"
variables:"placeholder": /.*.java/ { splitting | embedding }"lang": "java""input": "博客创建流程"
afterStreaming: {case condition {default { searching($output) | execute("summary.shire", $input, $output) }}}
---
[]: 这里写一些 CoT 相关的指令

在这个例子中,我们定义了一个变量 placeholder,它的值是从所有 *.java 文件中检索 博客创建流程 的结果。由于,默认情况下,会将 embedding 的结果存储在内存中,所以在 afterStreaming 时,我们就可以直接拿来使用。

afterStreaming 会在 Streaming 完成后执行,这里我们使用 searching 函数结合上一步的结果,来进行检索。最后,将结果发送给下一个流程。

步骤 2:使用 LLM 进行总结

在第一步中,我们决定了下一个指令的名称为 summary.shire,并且传递了两个参数: $input 和 $output。在这个流程中,我们可以直接使用这两个参数:

[]: 这里写一些 prompt
代码信息如下:
$output
用户的问题: $input

随后,Shire 会自动执行这个指令,并将结果返回给用户,即对问题的总结。

详细见:https://shire.phodal.com/workflow/rag-flow.html

Shire RAG 工作流的实现

实现 Shire RAG 工作流,并非一件容易的事。我们在人力有限的情况下,需要经过大量的调研和试验,以及场景验证。我们调研了被广泛采用的编码 RAG 工具, 以探索更多的可能性。我们还尝试了不同的编码智能体的实现方式,以及不同的编码智能体的实现方式。

Shire RAG 技术栈

Shire RAG 工作流主要使用的技术栈如下:

  • 推理框架:ONNX Runtime

  • Embedding 模型:Sentence Transformers all-MiniLM-L6-v2

  • 相似度算法:Jaccard similarity(默认)

  • 数据存储:内存(默认)、本地文件(项目目录)、未来:SQLite

  • Tokenizer:HF Tokenizer

而除了 RAG 部分,基于 NLP 与搜索的传统检索方式也是支持的,诸如于:

  • similarCode 变量:通过 Jaccard 等算法,来检索相似的代码。

  • similarTestCase 变量:通过 TF-IDF 来检索相似的测试用例。

我们尝试将更多的算法与技术集成到 Shire RAG 工作流中,以提供更多的能力。

文档支持

基于我们构建的 LLM 开发框架 ChocoBuilder,现在可以支持:

  • Office 文档:docx, pptx, xlsx 文件

  • PDF 文档

  • 非二进制文件

  • IDE 支持语言代码文件

  • IDE 不支持语言代码文件

当然,现有版本的代码拆分机制还不够完善,我们会在后续版本中提供更多的支持。

下一步

我们现在的版本只能满足一些简单的需求,但是在实际的开发中,我们还需要更多的能力。因此,我们会在后续版本中提供更多的能力:

  • 支持更多的存储方式,如向量数据库。

  • 支持对结果进行重排,如 LIM、LLM Rerank 等。

  • 支持更多的检索方式,如 BM25+、BM42 等。

  • ……

详细见:https://github.com/phodal/shire

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/875599.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于PaddleClas的人物年龄分类项目

目录 一、任务概述 二、算法研发 2.1 下载数据集 2.2 数据集预处理 2.3 安装PaddleClas套件 2.4 算法训练 2.5 静态图导出 2.6 静态图推理 三、小结 一、任务概述 最近遇到个需求,需要将图像中的人物区分为成人和小孩,这是一个典型的二分类问题…

AI学习指南机器学习篇-SOM在数据聚类和可视化中的应用

AI学习指南机器学习篇 - SOM在数据聚类和可视化中的应用 引言 在机器学习领域,数据聚类和可视化是非常重要的任务。传统的聚类算法如K-means、DBSCAN等在一些场景下表现良好,但对于高维数据的聚类和可视化而言,它们的效果会受到限制。Self-…

Leetcode3219. 切蛋糕的最小总开销 II

Every day a Leetcode 题目来源:3219. 切蛋糕的最小总开销 II 解法1:贪心 谁的开销更大,就先切谁,并且这个先后顺序与切的次数无关。 代码: /** lc appleetcode.cn id3219 langcpp** [3219] 切蛋糕的最小总开销 I…

ubuntu20.04服务器搭建mongodb7

安装参考自mongo官网:在 Ubuntu 上安装 MongoDB Community Edition - MongoDB 手册 v7.0 MongoDB 版本 本教程安装的是 MongoDB 7.0 Community Edition。想要安装不同版本的 MongoDB Community Edition,请移步本页面左上角的版本下拉菜单,选…

ubuntu递归下载deb安装包,解决离线依赖问题

ubuntu递归下载安装包 主要针对离线环境的电脑安装deb包。 将下面的build-essential换成自己需要安装的包,虽然下面代码会递归下载依赖安装包,但是在离线环境下仍然可能会出现依赖包为配置问题。 因此,根据报错,手动递归下载报错…

【SQL 新手教程 1/20】SQL语言MySQL数据库 简介

💗 什么是SQL?⭐ (Structured Query Language) 结构化查询语言,是访问和处理关系数据库的计算机标准语言 无论用什么编程语言(Java、Python、C……)编写程序,只要涉及到操作关系数据库都必须通过SQL来完成 …

4招清洁法,清理电脑无死角,焕然一新效率高

随着时间的积累,电脑内部可能会堆积起大量的垃圾文件、缓存数据和无用程序。因此,定期清理电脑是很有必要的。为了让你的电脑重新焕发生机,提高工作效率,本文将为你介绍4招实用的清洁法,助你轻松清理电脑死角&#xff…

js 数组常用函数总结

目录 1、push 2、unshif 3、pop 4、shift 5、concat 6、slice 7、splice 8、join 9、indexOf 10、lastIndexOf 11、forEach 12、map 13、filter 14、reduce 15、sort 16、reverse 17、includes 18、some 19、every 20、toString 21.、find 22、findLast 23、…

JavaWeb学习——请求响应、分层解耦

目录 一、请求响应学习 1、请求 简单参数 实体参数 数组集合参数 日期参数 Json参数 路径参数 总结 2、响应 ResponseBody&统一响应结果 二、分层解耦 1、三层架构 三层架构含义 架构划分 2、分层解耦 引入概念 容器认识 3、IOC&DI入门 4、IOC详解 …

Cadence23学习笔记(十四)

ARC就是圆弧走线的意思: 仅打开网络的话可以只针对net进行修改走线的属性: 然后现在鼠标左键点那个走线,那个走线就会变为弧形: 添加差分对: 之后,分别点击两条线即可分配差分对: 选完差分对之后…

微服务实践和总结

H5原生组件web Component Web Component 是一种用于构建可复用用户界面组件的技术&#xff0c;开发者可以创建自定义的 HTML 标签&#xff0c;并将其封装为包含逻辑和样式的独立组件&#xff0c;从而在任何 Web 应用中重复使用。 <!DOCTYPE html> <html><head…

css in js 相比较 css modules 有什么好处?

CSS-in-JS 和 CSS Modules 都是用于管理 React 组件样式的流行方案&#xff0c;它们各有优势。相比 CSS Modules&#xff0c;CSS-in-JS 的主要好处包括: 动态样式&#xff1a;CSS-in-JS 可以轻松创建基于 props 或状态的动态样式&#xff0c;更灵活地处理复杂的样式逻辑。 无需…

【vue3|第18期】Vue-Router路由的三种传参方式

日期:2024年7月17日 作者:Commas 签名:(ง •_•)ง 积跬步以致千里,积小流以成江海…… 注释:如果您觉得有所帮助,帮忙点个赞,也可以关注我,我们一起成长;如果有不对的地方,还望各位大佬不吝赐教,谢谢^ - ^ 1.01365 = 37.7834;0.99365 = 0.0255 1.02365 = 1377.408…

EtherNet/IP网络基础

EtherNet/IP&#xff08;Ethernet Industrial Protocol&#xff09;是一种用于工业自动化的通信协议&#xff0c;基于以太网技术。它允许设备和控制系统之间进行高效的数据交换和通信。以下是EtherNet/IP网络的基础知识。 1. 什么是EtherNet/IP&#xff1f; EtherNet/IP是由O…

ctfshow SSTI注入 web369--web372

web369 这把request过滤了&#xff0c;只能自己拼字符了 ""[[__clas,s__]|join] 或者 ""[(__clas,s__)|join] 相当于 ""["__class__"]举个例子&#xff0c;chr(97) 返回的是字符 a&#xff0c;因为 97 是小写字母 a 的 Unicode 编码…

go操作aws s3

v2 官方推荐版本&#xff0c;需要go版本>1.20 安装 go get github.com/aws/aws-sdk-go-v2 go get github.com/aws/aws-sdk-go-v2/config go get github.com/aws/aws-sdk-go-v2/service/s3必要参数 bucket: 存储桶的名称 Region: 存储桶所在区域,例us-east-1 accessKey…

PHP运算符

PHP 运算符是用于执行各种操作&#xff08;如算术运算、比较、逻辑运算、字符串连接等&#xff09;的符号。在 PHP 中&#xff0c;运算符的命名主要是基于它们的功能和用法&#xff0c;而不是像变量或函数那样可以自定义名称。以下是一个关于 PHP 运算符的详细教程&#xff0c;…

unity2D游戏开发01项目搭建

1新建项目 选择2d模板,设置项目名称和存储位置 在Hierarchy面板右击&#xff0c;create Empty 添加组件 在Project视图中右键新建文件夹 将图片资源拖进来&#xff08;图片资源在我的下载里面&#xff09; 点击Player 修改属性&#xff0c;修好如下 点击Sprite Editor 选择第二…

Angular由一个bug说起之八:实践中遇到的一个数据颗粒度的问题

互联网产品离不开数据处理&#xff0c;数据处理有一些基本的原则包括&#xff1a;准确性、‌完整性、‌一致性、‌保密性、‌及时性。‌ 准确性&#xff1a;是数据处理的首要目标&#xff0c;‌确保数据的真实性和可靠性。‌准确的数据是进行分析和决策的基础&#xff0c;‌因此…

【目标检测】非极大值抑制(Non-Maximum Suppression, NMS)步骤与实现

步骤 置信度排序&#xff1a;首先根据预测框的置信度&#xff08;即预测框包含目标物体的概率&#xff09;对所有预测框进行降序排序。选择最佳预测框&#xff1a;选择置信度最高的预测框作为参考框。计算IoU&#xff1a;计算其他所有预测框与参考框的交并比&#xff08;Inter…