在springboot项目中调用通义千问api多轮对话并实现流式输出

官网文档

阿里灵积提供了详细的官方文档

如何实现多轮对话

官方文档中提到只需要把每轮对话中返回结果添加到消息管理器中,就可以实现多轮对话。本质上就是将历史对话再次发送给接口。

如何实现流式输出

官方文档中提出使用streamCall()方法就可以实现流式输出,在ResultCallback<GenerationResult>参数中可以指点每个事件的处理动作。

流式调用方法没有返回GenerationResult结果类,如何实现多轮对话

方法一

我们每次调用完成后把得到的结果手动构建消息对象并加入消息管理类。

不知道是不是我使用的sdk版本问题(因为老的版本有出现调用okhttp报错的情况,我的在阿里云提交工单后,工作人员给我的最新版本是2.10.1,我当前就在使用这个版本)。经过实际测试,msgManager.get()方法可能会出现第一条对话的发送对象是assistant的情况。

如果第一条对话的发送对象不是user或者system,并且user和assistant没有在历史对话中轮流出现接口会报错的!!!!(我没有报错的截图,哈哈哈哈)

Message assistantMsg = Message.builder().role(Role.ASSISTANT.getValue()).content("如何做西红柿炖牛腩?").build();
msgManager.add(assistantMsg);

方法二

我们自己来控制历史对话

@Component
public class QwenModelService{private Generation gen;@Resourceprivate AiWebsocketService aiWebsocketService;public void createGen(){gen = new Generation();};private static final Logger logger = LoggerFactory.getLogger(QwenModelService.class);/*** prompt 用户对话* request 用户请求对象* identity 用户身份标识*/public String answer(String prompt, HttpServletRequest request, String identity) {// 通过身份标识在缓存中获取对话对象、历史消息对象、参数对象List<AiDialogue> dialogues = CachePool.AI_DIALOGUE_LIST_MAP.get(identity).computeIfAbsent(ConstValuePool.QWEN_DIALOGUES, k -> new LinkedList<>());dialogues.add(AiDialogue.createUserDialogue(prompt));List<Message> msgManager = CachePool.QWEN_MESSAGE_DIALOGUES_MAP.get(identity);QwenParam param = CachePool.QWEN_PARAM_MAP.get(identity);// 如果第一次发送消息需要初始化历史消息对象if (msgManager == null) {msgManager = new ArrayList<>();CachePool.QWEN_MESSAGE_DIALOGUES_MAP.put(identity, msgManager);Message systemMsg = Message.builder().role(Role.SYSTEM.getValue()).content("You are a helpful assistant.").build();msgManager.add(systemMsg);Message userMsg = Message.builder().role(Role.USER.getValue()).content(prompt).build();msgManager.add(userMsg);}else {msgManager.add(Message.builder().role("user").content(prompt).build());param.setMessages(msgManager);}// 如果第一次发送消息需要初始化参数对象if (param == null) {param = QwenParam.builder().model(Generation.Models.QWEN_MAX).messages(msgManager).resultFormat(QwenParam.ResultFormat.MESSAGE).topP(0.8).enableSearch(true).incrementalOutput(true).build();CachePool.QWEN_PARAM_MAP.put(identity, param);}try {logger.debug("发送的请求为{}",param);// 同步信号量Semaphore semaphore = new Semaphore(0);// 结果拼接对象StringBuilder resultBuilder = new StringBuilder();// 流式调用gen.streamCall(param, new ResultCallback<GenerationResult>(){@Overridepublic void onEvent(GenerationResult generationResult) {String newMessage = generationResult.getOutput().getChoices().get(0).getMessage().getContent();StringBuilder finalResBuilder = resultBuilder.append(newMessage);// 这里是对markdown代码块进行判断,如果当前代码块未结束,需要手动结束// 否则前端的代码块显示会出问题// 代码块判断的功能就是对"```"字符串计数,偶数个就是结束了,奇数个就是没结束if (1 == (1 & StringUtil.countSubStr(finalResBuilder,ConstValuePool.MARKDOWN_CODE_BLOCK_START))) {finalResBuilder = new StringBuilder(finalResBuilder).append(ConstValuePool.MARKDOWN_CODE_BLOCK_END);}// 通过websocket返回给前端aiWebsocketService.sendMessage(finalResBuilder.toString(), identity);}// 结束或者报错需要释放同步信号量@Overridepublic void onComplete() {semaphore.release();}@Overridepublic void onError(Exception e) {semaphore.release();logger.error("通义千问运行出错, 报错栈如下");Throwable t = e;while (t != null) {logger.error( t.toString());t = e.getCause();}}});semaphore.acquire();String resString = resultBuilder.toString();// 把返回消息加入历史消息中
msgManager.add(Message.builder().role("assistant").content(resString).build());// 如果历史消息量过大或者第一条消息发送对象不是user,删除历史消息// 下标0是system消息while (msgManager.size() > ConstValuePool.QWEN_MAX_MESSAGE|| !"user".equals(msgManager.get(1).getRole())) {msgManager.remove(1);}// 添加到对话记录中,方便前端查询对话记录dialogues.add(AiDialogue.createAssistantDialogue(resString));return "";} catch (NoApiKeyException e) {logger.error("调用通义千问缺少ApiKey");throw new AiException("没有ApiKey", e);} catch (Exception e) {logger.error("调用通义千问出现问题:{}",e.getMessage());throw new AiException("出现了一些问题", e);}}}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/717052.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ViT的若干细节

之前只看了ViT的大概结构&#xff0c;具体的模型细节和代码实现知之甚少。随着ViT逐渐成为CV领域的backbone&#xff0c;有必要重新审视下。 patch -> token 为了将图片处理成序列格式&#xff0c;很自然地想到将图片分割成一个个patch&#xff0c;再把patch处理成token。 …

Mysql整理-主从复制

MySQL的主从复制是一种常见的数据复制和分布式数据共享方法。在这种架构中,一个MySQL服务器充当主(master)服务器,而一个或多个其他MySQL服务器充当从(slave)服务器。数据从主服务器复制到从服务器,实现数据的分布和备份。这种设置主要用于数据备份、读取扩展、灾难恢复…

Python系列(20)—— 循环语句

Python中的循环控制语句 一、引言 在Python编程中&#xff0c;循环是重复执行一段代码直到满足特定条件的基本结构。Python提供了多种循环控制语句&#xff0c;如For 和While &#xff0c;以及用于控制循环流程的辅助语句&#xff0c;如Break、Continue和Pass。这些语句的组合…

SpringBoot缓存

目录 缓存支持 缓存集成 redis缓存集成 缓存支持 Spring 框架只提供抽象&#xff0c;不提供具体的缓存存储&#xff0c;底层需要依赖第三方存储组件&#xff0c;如果当前应用没有注册CacheManager 或者 CacheResolver 实例&#xff0c;Spring Boot 会按以下缓存组件的顺序来…

[蓝桥杯 2020 省 B1] 整数拼接

一、题目描述 P8712 [蓝桥杯 2020 省 B1] 整数拼接 二、题目简析 我们选两个数 a a a 和 b b b&#xff0c;用 f ( a , b ) f(a, b) f(a,b) 表示 a a a 在前、 b b b 在后的拼接&#xff0c;即 f ( a , b ) a ∗ 1 0 b . s i z e b f(a, b) a * 10^{b.size} b f(a,…

Linux学习:初始Linux

目录 1. 引子&#xff1a;1.1 简述&#xff1a;操作系统1.2 学习工具 2. Linux操作系统中的一些基础概念与指令2.1 简单指令2.2 ls指令与文件2.3 cd指令与目录2.4 文件目录的新建与删除指令2.5 补充指令1&#xff1a;2.6 文件编辑与拷贝剪切2.7 文件的查看2.8 时间相关指令2.9 …

洛谷P1256 显示图像

广搜练手题 题目链接 思路 打印每个数与其最近的 1 1 1的曼哈顿距离&#xff0c;显然广搜&#xff0c;存储每一个 1 1 1&#xff0c;针对每一个 1 1 1开始广搜&#xff0c;逐层更新&#xff0c;每轮后更新的为两轮之中的最小曼哈顿距离 ACcode #include<bits/stdc.h>…

波动数列(蓝桥杯)

问题描述&#xff1a; 观察如下数列&#xff1a; 1 3 0 2 -1 1 -2 … 这个数列中后一项总是比前一项增加 2 或者减少 3。 栋栋对这种数列很好奇&#xff0c;他想知道长度为 n nn 和为 s ss 而且后一项总是比前一项增加 a aa 或者减少 b bb 的整数数列可能有多少种呢&#xff1f…

非专业程序员常用vscode插件

牙叔教程 简单易懂 我常用的脚本语言是js, python. AutoHotkey v2 Language Support vscode-autohotkey-debug 由于工作有写重复, 要用到autohotkey, 所以装这个插件 Black Formatter 格式化python代码 Bookmarks 书签 change-case 命名方式: 小驼峰, 下划线, 等命名风格转…

【网站项目】202物流管理系统

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0c;帮助大学选题。赠送开题报告模板&#xff…

不会代码的时候,如何使用Jmeter完成接口测试

1.接口测试简介 接口测试是测试系统组件间接口的一种测试。接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。测试的重点是要检查数据的交换&#xff0c;传递和控制管理过程&#xff0c;以及系统间的相互逻辑依赖关系等。 2.接口测试流程 接口测试的…

【贪玩巴斯】VisualStudio+Github联合工作指令

实现在本地VisualStudio进行代码改写&#xff0c;同时上传Github和项目组成员实时更新代码。 格式指令&#xff1a; alt z ctrl shift p后 输入 wordwrap —— 进行格式排盘&#xff08;在一页中能够完全显示&#xff0c;代码会自动换行&#xff09; git pull origin mast…

2024.3.1 小项目

1、机械臂 #include <myhead.h> #define SER_IP "192.168.125.32" //服务器端IP #define SER_PORT 8888 //服务器端端口号#define CLI_IP "192.168.68.148" //客户端IP #define CLI_PORT 9999 /…

串的BF算法(朴素查找算法)

串的模式匹配&#xff1a;在主串str的pos位置查找子串sub&#xff0c;找到返回下标&#xff0c;没有找到返回-1。 1.BF算法思想 相等则继续比较&#xff0c;不相等则回退&#xff1b;回退是i退到刚才位置的下一个&#xff08;i-j1&#xff09;;j退到0&#xff1b;利用子串是否…

Python matplotlib

目录 1、安装 matplotlib 2、绘制折线图 修改标签文字和线条粗细 校正图形 3、绘制散点图 绘制单点 绘制一系列点 自动计算数据 删除数据点的轮廓 自定义颜色 使用颜色映射 自动保存图表 4、随机漫步 创建 RandomWalk() 类 选择方向 绘制随机漫步图 给点着色 …

最简单的ubuntu远程桌面方法

最简单的ubuntu远程桌面方法 部署环境&#xff1a;Ubuntu 20.04 LTS 现在最常用的远程控制Linux系统的方法是通过XRDP、VNC等&#xff0c;但是安装配置过程繁琐复杂&#xff0c;经常出现各种问题导致连接失败&#xff0c;另外一方面延迟较高&#xff0c;操作卡顿。 经过我坚…

【Java项目介绍和界面搭建】拼图小游戏——键盘、鼠标事件

&#x1f36c; 博主介绍&#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 hacker-routing &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【应急响应】 【Java】 【VulnHub靶场复现】【面试分析】 &#x1f389;点赞➕评论➕收藏 …

DDS数据分发服务——提升汽车领域数据传输效率

1.引言 随着智能化技术的快速发展&#xff0c;汽车行业正经历着一场革命性的变革。如今的分布式系统变得越来越复杂且庞大&#xff0c;对网络通信基数要求在功能和性能层面越来越高。数据分发服务&#xff08;DDS&#xff09;作为一项先进的数据传输解决方案&#xff0c;在汽车…

2369. 检查数组是否存在有效划分(动态规划)

2024-3-1 文章目录 [2369. 检查数组是否存在有效划分](https://leetcode.cn/problems/check-if-there-is-a-valid-partition-for-the-array/)思路&#xff1a;代码&#xff1a; 2369. 检查数组是否存在有效划分 思路&#xff1a; 1.状态定义:f[i]代表考虑将[0,i]是否能被有效划…

电脑要用多少V的电源?电脑电源输入电压是市电

台式电源的输出电压是多少&#xff1f; 电脑电源输出一般有三种不同的电压&#xff0c;分别是&#xff1a; 12V、5V、3.3V。 电脑电源负责给电脑配件供电&#xff0c;如CPU、主板、内存条、硬盘、显卡等&#xff0c;是电脑的重要组成部分。 工作电流根据不同的硬件及其使用状…