Streamer-Sales是一个为直播带货主播量身定制的智能工具。
它能够智能分析商品特性,自动创作出引人入胜的解说词,从而有效增强商品的吸引力和提升销售业绩。它还具备多种交互功能,比如将主播的语音实时转换为文字,便于与观众进行更直接的交流。它还能够生成富有感情色彩的语音,让商品介绍更加生动,以及创造虚拟主播的视频,为观众带来更加直观和有趣的购物体验。
具体功能
1. 主播文案生成:系统能够基于商品特性,自动创建引人入胜的解说文案,以激发消费者的购买欲望。
2. 推理加速技术:通过集成LMDeploy技术,系统显著提高了推理速度,并支持KV缓存和Turbomind技术。
3. 检索增强生成:结合商品说明书和相关文档,系统能够生成更加贴合实际的文案内容。
4. 语音转文字功能:系统支持将主播的语音实时转换为文字,便于与观众进行互动。
5. 文字转语音技术:能够将文案转换为带有情感色彩的语音输出,使商品介绍更加生动。
6. 数字人视频生成:系统可以生成虚拟主播视频,利用数字人技术进行商品解说,增强观众的观看体验。
7. 实时信息查询:系统能够通过网络实时查询并提供信息,例如快递状态,确保用户获得最新数据。
模型介绍Streamer-Sales 模型架构
模型用 xtuner 在 InternLM2的基础上指令微调而来,部署集成了LMDeploy加速推理,支持ASR 语音生成文字壹, 支持RAG检索增强生成三做到可以随时更新说明书指导主播生成文案,支持Agent 通过网络查询快递信息,还加入 带有感情的TTS文字转语音生成,最后还会生成主播数字人视频,让主播不止于文字介绍。
streamer-sales-lelemiao-7b流媒体-销售-lelemiao-7b
基座:internlm2-chat-7b数据量:大约40万Token特点:这是一个基于internlm2-chat-7b微调的模型,专为直播带货生成解说文案。模型通过大量商品数据的训练,能够生成高质量的商品解说文案,精准激发用户购买欲望。适用场景:线上直播销售、线下门店推广、商品广告文案生成等。
streamer-sales-lelemiao-7b-4bit
基座:internlm2-chat-7b数据量:大约40万Token特点:这是 streamer-sales-lelemiao-7b 模型的 4bit 量化版本,进一步优化了推理速度和资源占用。量化后的模型在保持生成质量的同时,显著提升了推理效率,适合在计算资源有限的环境中使用。适用场景:需要高效推理和快速响应的直播带货场景,尤其是在资源受限的情况下。项目通过多个模块和技术的集成,构建了一个全面的直播带货大模型系统。
主要架构数据生成与处理模块
数据集生成:采用通义干问和文心一言生成数据集,包括商品文案和问答对话。数据清洗和合并:对生成的数据进行清洗,合并并转换为适合训练的格式。RAG数据库生成:创建向量数据库,以支持检索增强生成。
模型训练与微调
基础模型:使用 InternLM2 作为基础模型。微调:使用xtuner对基础模型进行指令微调,以适应不同商品和用户需求。量化处理:使用 LMDeploy进行4bit量化,提升推理效率。
推理与生成模块
推理加速:集成LMDeploy和Turbomind,支持KVcache,显著提升推理速度。检索增强生成(RAG):结合商品说明书和相关文档,增强生成的文案内容。
语音处理模块
ASR(语音转文字):支持语音输入转换为文字。TTS(文字转语音):生成带有情感的语音输出,增强用户体验。数字人生成模块使用ComfyUlworkflow生成虚拟主播视频,提供生动的商品解说。
实时信息查询模块
Agent集成:通过网络查询实时信息,如快递状态和天气信息,提供即时反馈。
高性价比GPU算力:https://www.ucloud.cn/site/active/gpu.html?ytag=gpu_wenzhang_0627_shemei