使用Chainlit接入通义千问快速实现一个多模态的对话应用

开通灵识服务

首先需要到阿里云-模型服务灵积开通账户,获得apiKey
模型服务灵积 https://dashscope.aliyun.com/
进入控制台 ,在API-KEY管理里,创建一个新的API-KEY,然后保存起来,后面会用到。

模型服务灵积服务所有API文档地址 https://help.aliyun.com/zh/dashscope/developer-reference

快速开始

创建项目

创建一个文件,例如“chainlit_chat”

mkdir chainlit_chat

进入 chainlit_chat文件夹下,执行命令创建python 虚拟环境空间(需要提前安装好python sdkChainlit 需要python>=3.8。,具体操作,由于文章长度问题就不在叙述,自行百度),命令如下:

创建虚拟环境

python -m venv .venv
  • 这一步是避免python第三方库冲突,省事版可以跳过
  • .venv是创建的虚拟空间文件夹可以自定义

接下来激活你创建虚拟空间,命令如下:

#linux or mac
source .venv/bin/activate
#windows
.venv\Scripts\activate

创建requirements.txt文件

在项目根目录下创建requirements.txt,内容如下:

chainlit~=1.1.306
openai~=1.37.0

创建app.py文件

在项目根目录下创建app.py文件,代码如下:

import base64
from io import BytesIO
from pathlib import Pathimport chainlit as cl
from chainlit.element import ElementBased
from chainlit.input_widget import Select, Slider, Switch
from openai import AsyncOpenAIclient = AsyncOpenAI()def encode_image(image_path):with open(image_path, "rb") as image_file:return base64.b64encode(image_file.read()).decode("utf-8")@cl.on_settings_update
async def on_settings_update(settings: cl.chat_settings):cl.user_session.set("settings", settings)@cl.on_chat_start
async def start_chat():settings = await cl.ChatSettings([Select(id="Model",label="Model",values=["qwen-turbo", "qwen-plus", "qwen-max"],initial_index=0,),Slider(id="Temperature",label="Temperature",initial=1,min=0,max=2,step=0.1,),Slider(id="MaxTokens",label="MaxTokens",initial=1000,min=1000,max=3000,step=100,),Switch(id="Streaming", label="Stream Tokens", initial=True),]).send()cl.user_session.set("settings", settings)content = "你好,我是泰山AI智能客服,有什么可以帮助您吗?"msg = cl.Message(content=content)await msg.send()@cl.on_message
async def on_message(message: cl.Message):settings = cl.user_session.get("settings")print('settings', settings)streaming = settings['Streaming']model = settings['Model']print('elements', message.elements)images = [file for file in message.elements if "image" in file.mime]files = [file for file in message.elements if "application" in file.mime]messages = cl.chat_context.to_openai()if files:model = "qwen-long"files = files[:3]pdfs_content = []for file in files:file_object = await client.files.create(file=Path(file.path), purpose="file-extract")print('file_object', file_object)pdfs_content.append({"role": "system","content": f"fileid://{file_object.id}",})pdfs_content.append({"role": "user", "content": message.content})messages = pdfs_contentif images and model in ["qwen-plus", "qwen-max"]:# Only process the first 3 imagesimages = images[:3]images_content = [{"type": "image_url","image_url": {"url": f"data:{image.mime};base64,{encode_image(image.path)}"},}for image in images]model = "qwen-vl" + model[4:]messages = [{"role": "user","content": [{"type": "text", "text": message.content}, *images_content],}]msg = cl.Message(content="", author="tarzan")await msg.send()print('messages', messages)response = await client.chat.completions.create(model=model,messages=messages,temperature=settings['Temperature'],max_tokens=int(settings['MaxTokens']),stream=streaming)if streaming:async for part in response:if token := part.choices[0].delta.content or "":await msg.stream_token(token)else:if token := response.choices[0].message.content or "":await msg.stream_token(token)await msg.update()
  • 根据qwen的接口文档,文档类的需要用qwen-long模型处理,图片需要用qwen-vl模型处理

创建.env文件

在项目根目录下创建.env环境变量,配置如下:

OPENAI_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
OPENAI_API_KEY=""
  • 由于国内open ai 的限制使用,代码中使用的灵识服务提供兼容open ai的接口
  • OPENAI_BASE_URL是为固定地址
  • OPENAI_API_KEY是你创建灵识服务的API-KEY

安装依赖

执行以下命令安装依赖:

pip install -r .\requirements.txt
  • 安装后,项目根目录下会多出.chainlit.files文件夹和chainlit.md文件

运行应用程序

要启动 Chainlit 应用程序,请打开终端并导航到包含的目录app.py。然后运行以下命令:

 chainlit run app.py -w   
  • -w标志告知 Chainlit 启用自动重新加载,因此您无需在每次更改应用程序时重新启动服务器。您的聊天机器人 UI 现在应该可以通过http://localhost:8000访问。

使用体验:

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

相关文章推荐

《使用 Xinference 部署本地模型》
《Fastgpt接入Whisper本地模型实现语音输入》
《Fastgpt部署和接入使用重排模型bge-reranker》
《Fastgpt部署接入 M3E和chatglm2-m3e文本向量模型》
《Fastgpt 无法启动或启动后无法正常使用的讨论(启动失败、用户未注册等问题这里)》
《vllm推理服务兼容openai服务API》
《vLLM模型推理引擎参数大全》
《解决vllm推理框架内在开启多显卡时报错问题》
《Ollama 在本地快速部署大型语言模型,可进行定制并创建属于您自己的模型》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/51356.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据结构:构建数字世界的基石

在数字化时代,数据已成为推动社会进步与经济发展的核心驱动力。而数据结构,作为计算机科学的基础与核心,是存储、组织和管理这些海量数据的基石。无论是简单的应用程序还是复杂的系统架构,都离不开高效、灵活的数据结构支持。本文…

KUKA机器人外部自动IO信号经验分享

个人名片 🎓作者简介:java领域优质创作者 🌐个人主页:码农阿豪 📞工作室:新空间代码工作室(提供各种软件服务) 💌个人邮箱:[2435024119qq.com] &#x1f4f1…

k8s学习--k8s集群部署kubesphere的详细过程

文章目录 kubesphere简介k8s群集部署kubespere环境准备工作一、配置nfs二、配置storageclass三、kubesphere开启服务(devops) kubesphere简介 下面是官方文档描述 KubeSphere 是在 Kubernetes 之上构建的面向云原生应用的分布式操作系统,完全开源,支持多…

【python】最新版抖音js逆向拿到数据,非常详细教程(附完整代码)

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全…

如何压缩pdf文件大小?这5种方法,简单又实用!

如何压缩pdf文件大小?pdf是电脑常用的便携式文档格式,无论是在学术领域的论文发表,还是在商业场景中的合同签署,甚至是个人简历的提交,PDF文件都扮演着重要的角色。 电脑上存储pdf文件会面临一个难题,那就是…

收不到验证码邮件怎么办?快速排查与解决!

收不到验证码邮件有哪些应对策略?验证码邮件被拦截? 经常需要通过邮箱接收验证码邮件来完成各种操作。然而,许多人都会遇到收不到验证码邮件的情况。AokSend将详细介绍如何快速排查和解决收不到验证码邮件的问题。 收不到验证码邮件&#x…

Vue 项目部署后首页白屏问题排查与解决

引言 在部署 Vue.js 项目时,有时会遇到首页加载后出现白屏的情况,这可能是由于多种原因造成的。本文将介绍一些常见的排查方法和解决方案,帮助开发者快速定位问题并解决。 1. 常见原因分析 首页白屏的问题可能由以下几个方面的原因导致&am…

深入探索CSS3的Media Query:打造响应式网页设计的利器

在今天的互联网世界中,随着设备种类和屏幕尺寸的多样化,响应式网页设计(Responsive Web Design, RWD)已成为不可或缺的一部分。CSS3中的Media Query正是这一设计理念的实现利器,它允许开发者根据用户的设备特性和屏幕尺…

C++ 模板初级

引入 在讲函数模板之前就要先讲讲函数重载了 #include <iostream> using namespace std;int add(int a, int b) {return a b; }double add(double a, double b) {return a b; }int main() {cout << add(2, 3) << endl; cout << add(2.5, 3.7)…

pake 打包TodoList windows桌面应用exe

参考&#xff1a; rust安装 https://blog.csdn.net/weixin_42357472/article/details/125943880 pake网址 https://github.com/tw93/Pake 支持把网页打包成多终端应用 离线网站打包参考&#xff1a; https://github.com/tw93/Pake/wiki/Pake%E6%89%93%E5%8C%85%E9%9D%99%E6%8…

uniapp 小程序内嵌H5链接返回到小程序(亲测)

使用 weixin-js-sdk&#xff0c;特别注意的是&#xff0c;在vue项目中之前安装过 weixin-js-sdk 的&#xff0c;一定要要跟新&#xff0c;但是好像只可以更新到1.6.0版本&#xff0c;而微信要求最低版本是1.6.4&#xff0c;不过不影响使用。 安装weixin-js-sdk npm install w…

Unity Transform组件实现动画:基础与进阶技巧

在Unity中&#xff0c;Transform组件是控制游戏对象&#xff08;GameObject&#xff09;位置、旋转和缩放的核心组件。通过编程控制Transform组件&#xff0c;开发者可以创建各种动画效果。本文将介绍如何使用Transform组件实现动画&#xff0c;从基础的运动到更高级的动画技巧…

企业微信开发智能升级:AIGC技术赋能,打造高效沟通平台

文章目录 一、AIGC在企业微信开发中的核心价值1. 智能化客服体验2. 自动化工作流程3. 个性化内容推荐4. 深度数据分析与洞察 二、使用AIGC进行企业微信开发的实践路径1. 需求分析与场景定义2. 技术选型与平台搭建3. 模型训练与调优4. 接口对接与功能集成5. 测试与优化 《企业微…

Hugo 部署与自动更新(Git)

文章目录 Nginx部署Hugonginx.confhugo.conf Hugo自动更新Hugo自动更新流程添加访问令牌添加web hookrust实现自动更新接口 Nginx部署Hugo nginx.conf user nginx; worker_processes auto;error_log /var/log/nginx/error.log notice; pid /var/run/nginx.pid;even…

Lambda和Stream让代码简洁的七大原则

1. Lambda优于匿名内部类 函数接口&#xff1a;JDK 8中&#xff0c;只存在一个抽象方法的接口称为函数接口&#xff0c;使用FunctionalInterface注解标识。示例&#xff1a;FunctionalInterface public interface Comparator<T> {int compare(T o1, T o2); }Lambda表达式…

深入解读:几种常见视频大模型原理对比分析

在人工智能的快速发展中&#xff0c;视频分析技术逐渐成为研究的热点。伴随着深度学习的崛起&#xff0c;各种视频大模型应运而生&#xff0c;广泛应用于视频理解、动作识别、视频生成等领域。本文将对几种常见的视频大模型进行原理对比分析&#xff0c;帮助读者更好地理解它们…

JDK、JRE、JVM的区别

总结&#xff1a; JDK为开发人员提供了完整的开发和运行Java程序所需的工具和库&#xff0c;包括JRE、编译器&#xff08;javac&#xff09;、调试器&#xff08;jdb&#xff09;、Java类库&#xff08;如java标准库&#xff09;、基本开发工具&#xff1b; JRE为普通用户或需…

作业7.26~28

全双工&#xff1a; 通信双方 既可以发送&#xff0c;也可以接收数据 1. 利用多线程 或者 多进程&#xff0c; 实现TCP服务器 和 客户端的全双工通信 思路&#xff1a; 服务器和客户端&#xff0c; 在建立通信以后&#xff0c;可以创建线程&#xff0c;在线程编写另一个功能代…

实用网站推荐

​ 学习 前端 精简CSS格式 Font Awesome 图标库 BootCDN 加速服务 合集 AI工具集 动漫、音乐 娱乐 嗷呜动漫 奈飞同步 视频下载 B站视频解析下载 文件操作 ioDraw制作图 Convertio — 文件转换器 PDF处理 ​LOGO

python-小李帮老师改错(赛氪OJ)

[题目描述] 老师给小理发了一封电子邮件&#xff0c;任务如下。 写一个程序&#xff0c;给你 n 个数&#xff0c;输出 X。Xnum1p1​​num2p2​​⋯numnpn​​。 num1​&#xff0c;num2​&#xff0c;⋯⋯&#xff0c;numn​ 都是整数&#x…