文章目录
- 一、效果演示
- 二、操作步骤
- 三、架构解析
一、效果演示
各位读者你们好,我最近在研究一个语音助手的项目,是基于GPT3.5网页版的逆向和本地BertVits2-2.3 文字转语音,能实现的事情感觉还挺多,目前实现【无需翻墙,国内网络发送消息,返回答案文字和语音】,网站已上线并未公开链接,以下是演示GIF:
二、操作步骤
- 前端使用uni-app完成,登录后主页中选中【AI助手】
- 跳转到对话页面
- 输入对话,并发送
自研人工智能助手-说话演示
- 切换模型,秒级响应
自研人工智能助手-切换人物演示
三、架构解析
- 整体架构
- 后端使用SpringCloud微服务 + nacos注册中心/配置中心 + sentinel限流
- 前端使用 uni-app H5快速开发
- 后端服务规划有:
- TTS服务(文本转语音服务):本地离线BertVits2-2.3
- ARS/STT服务 (语音转文本服务):sherpa-ncnn-fast
- Chat服务:Chatglm2-6b-int4 GPU/Chatglm3-6b-int4 c++ CPU/ChatGPT3.5 网页逆向
- 分布式爬虫服务,用于在网络上爬取 chat服务返回文本包含“抱歉”的需要进行在线实时搜索的内容
- 本地知识库服务:用于缓存热词,需要实时搜索的关键词,查询记录等
- 大文件上传下载服务:支持断点续传