实操给自助触摸一体机接入大模型语音交互

本文以CSK6 大模型开发板+串口触摸屏为例,实操讲解触摸一体机怎样快速增加大模型语音交互功能,使用户能够通过语音在一体机上查询信息、获取智能回答及实现更多互动功能等。

在本文方案中通过CSK6大模型语音开发板采集用户语音,将语音数据传输到大模型进行处理,再将大模型生成的回答转换为语音输出和在触摸一体机屏幕上显示文字结果。

CSK6开发板接串口屏显示语音交互文字

一、硬件准备

  1. 语音交互模块:CSK6大模型语音开发板(接入自定义的私有大模型知识库,生成和接入方式可以参考前面发布的文章)

  1. 触摸一体机:用淘晶驰X2七寸串口触摸屏模块代替演示

二、硬件连接

  1. 串口触摸屏模块和CSK6大模型开发板各自使用5V2A独立供电

  1. 将 CSK6 大模型开发板引脚与触摸一体机模块的串口接口进行连接。确保连接线路稳定且正确,开发板 PA00引脚连接触摸一体机模块的 RX 端(黄色线),PA01引脚连接触摸一体机模块的 TX 端(橙色线),同时开发板的GND与串口屏的GND互联(红色线杜邦线)。

三、语音交互模块配置

1、下载聆思官方开放的SDK后做完初始化和更新,在 LLM_pic 目录下打开 prj.conf,增加以下配置项并保存:

CONFIG_UART_DISP_EN=y

2、 编译固件(如不方便编译,想先体验可以使用演示固件,下载地址:https://docs2.listenai.com/z/217.zip

3、烧录到开发板上即可 (此处省略实操内容,详细操作步骤请参考官方上手文档固件下载与烧录 | 聆思文档中心

四、触摸一体机(串口触摸屏模块)设置

串口触摸屏官方提供有可视化编辑工具, 可以联系串口屏提供方要下载程序,安装好后参考以下步骤实现语音交互文字和指令的接入。

1、在官方出厂示例下方增加【滑动文本】模块,w设置为600、h设置为50,文本框、文字颜色、排版特效和互动方式都可以自定义配置,详情参考控件说明。

【友情提醒】不要修改objname的值,该值被CSK6 大模型开发板关联,修改会导致文字不能显示。

2、配置utf-8支持,由于开发板输出的中文是utf-8格式,需要手动增加到串口屏的支持字库。

     a) 下载utf-8字库文件,下载地址:https://docs2.listenai.com/z/216.zi

     b) 点+导入utf-8字库,可以看到导入后的字库ID为:7

c) 更改【滑动文本】模块使用 ID为 7 的utf-8字库,然后保存。

3、完成以上配置后,点击输出生产文件,然后通过tf卡更新串口屏幕程序,重启即可。

4、【重点提醒】CSK6开发板接串口屏后,只能使用csk_usb口供电,且dap_usb口不能接电脑,否则串口屏不会显示聊天文字

五、CSK6大模型开发板SDK的串口屏相关代码

可以在下载的大模型语音交互SDK中查看修改串口屏相关的代码以实现不同的串口交互功能,串口屏代码文件路径:\duomotai_ap\apps\LLM_pic\src\app_ui\uart_disp_ui\uart_disp.c

触摸一体机通过串口接入CSK6大模型开发板,不仅可以实现聊天文字实时显示,还可以借助CSK6大模型开发板的AI能力在触摸一体机上实现更多功能,同时还降低了方案开发难度和工作量,更快速的验证产品功能可行性。

聆思CSK6 大模型开发板详细信息可参考线上文档套件简介 | 聆思文档中心,解锁更多玩法、例如更换大模型、添加私有知识库、自定义流程、控制设备等请参考之前发布的博客,也可以私信、评论或在技术群交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/64331.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DocFlow票据AI自动化处理工具:出色的文档解析+抽取能力,提升企业文档数字化管理效能

目录 财务应付 金融信贷业务 近期,DocFlow票据自动化产品正式上线。DocFlow是一款票据AI自动化处理工具,支持不同版式单据智能分类扩展,可选功能插件配置流程,满足多样业务场景。 随着全球化与信息化进程,企业的文件…

英伟达垄断?中国芯片如何破局?

近期,全球AI芯片巨头英伟达被曝遭遇中国反垄断调查,引发行业广泛关注。 【图片来源于网络,侵删】 众所周知,在人工智能的浪潮中,英伟达无疑是全球AI算力市场的领头羊。在芯片领域,尤其是 GPU 市场&#xff…

用户体验测试与专项测试常用工具

用户体验(User Experience, UX)测试关注的是用户在使用软件产品时的主观感受。这包括用户界面的易用性、交互设计的友好性以及整体的满意度。UX测试不仅能够帮助开发人员发现产品中的潜在问题,还能为企业提供改善产品体验的建议。 功能亮点 …

40 基于单片机的温湿度检测判断系统

目录 一、主要功能 二、硬件资源 三、程序编程 四、实现现象 一、主要功能 基于STC89C52单片机,采用dht11温湿度传感器检测温湿度, 通过lcd1602显示屏各个参数,四个按键分别可以增加温湿度的阈值, 如果超过阈值,则…

基于Matlab实现三维地球模型(源码)

利用MATLAB强大的图形处理能力和数学计算功能构建的可视化应用。这个模型允许用户在三维空间中观察地球,并且能够动态地旋转地球模型,同时还可以模拟卫星在其周围的运动轨迹,为学习地球科学、天文学以及航天工程等领域提供了一个直观的教学工…

JavaSe部分总结

我们先来了解一下Java语言,JavaSE是Java编程语言的标准版,主要是来学习Java的基本语法,书写方式,以及一些简单的逻辑循环和判断,包括一些关键字,特殊类(抽象类),特殊的方法(static修饰的方法,final修饰的方法)等等,最重要的是Java语言是比较C语言和C语言是比较简单的,Java是面向…

适用于 Windows 的 Podman

适用于 Windows 的 Podman 虽然“容器是 Linux”,但 Podman 也可以在 Mac 和 Windows 上运行,它提供原生 CLI 并嵌入来宾 Linux 系统来启动您的容器。此 guest 称为 Podman 计算机,并使用命令进行管理。在 Windows 上,每台 Podma…

Linux中 vim 常用命令大全详细讲解

文章目录 前言一、Vim 基本操作 🕹️1.1 打开或创建1.2 退出编辑1.3 模式切换 二、Vim 光标移动命令 ↕️2.1 基本移动2.2 行内移动2.3. 单词移动2.4. 页面移动2.5. 行跳转 三、Vim 文本编辑命令 📋3.1 插入和删除3.2 复制、剪切与粘贴3.3 替换与修改 四…

如何借助5G网关实现油罐车安全在线监测

油罐车是常见的特种运输车辆,用以运送各种汽油、柴油、原油等油品,运输危险系数大,而且由于油罐车需要经常行驶在城区道路,为城市各个加油站点、企业工厂运输补充所需油料,因此也是危化品运输车辆的重点监测和管控对象…

联想至像M3070DW打印机连接手机方法

首先,按打印机上的“功能”键,上翻页翻到第4项“网络”按“OK”键进入; 点进去之后,再按下翻页翻到第3项“安装向导”,按“OK”键进入; 然后,选择我们要连接的WiFi并输入WiFi密码, 输…

双亲委派机制是Java类加载器的一种工作模式

双亲委派机制是Java类加载器的一种工作模式,确保了类加载的一致性和安全性。以下是对双亲委派机制的详细解析: 一、定义与工作原理 双亲委派机制(Parent Delegation Model)要求除了顶层的启动类加载器外,其余的类加载…

Qt 使用modbus协议

Qt 框架下 使用modbus协议 一,使用Qt原生的 QModbusClient ,比如QModbusTcpClient 1,因为modbus的读写 需要在同一个线程中,所以需要在主线程中利用moveToThread的方式,将业务逻辑封装到 子线程中。 2,m…

C语言中怎样将NULL定义为空指针?空指针的具体值其实为0哈,即地址值为0的指针为空指针。

用下面这条命令即可: #define NULL (void *)0下面是对这句代码的解释: #define NULL (void *)01. #define 的作用 #define 是一个预处理指令,用于定义宏。宏替换发生在编译前的预处理阶段,所有出现 NULL 的地方都会被替换为 (v…

Linux中的cp命令:使用、原理与源码分析

在Linux系统中,cp命令是最常用的命令之一,用于复制文件或目录。无论是日常的文件管理,还是系统维护,cp命令都扮演着重要的角色。本文将深入探讨cp命令的使用方法、工作原理,并从源码层面分析其实现细节。 1. cp命令的…

oracle client linux服务器安装教程

p13390677_112040_Linux-x86-64_4of7.zip 安装前,确认/etc/hosts文件已配置正确 cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.2…

云和恩墨 zCloud 与华为云 GaussDB 完成兼容性互认证

近日,云和恩墨(北京)信息技术有限公司(以下简称:云和恩墨)的多元数据库智能管理平台 zCloud 与华为云计算技术有限公司(以下简称:华为云)的 GaussDB 数据库完成了兼容性互…

《计算机视觉:瓶颈之辩与未来之路》

一、计算机视觉的崛起 计算机视觉是使用计算机模仿人类视觉系统的科学,让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力。它是一个多学科交叉的领域,与机器视觉、图像处理、人工智能、机器学习等领域密切相关。 计算机视觉行业可分为…

iOS在项目中设置 Dev、Staging 和 Prod 三个不同的环境

在 Objective-C 项目中设置 Dev、Staging 和 Prod 三个不同的环境,并为每个环境使用不同的 Bundle ID,可以通过以下步骤实现: 步骤 1: 创建不同的 Build Configuration 打开项目: 启动 Xcode 并打开你的项目。 选择项目文件&…

6.3.1 MR实战:计算总分与平均分

在本次实战中,我们的目标是利用Apache Hadoop的MapReduce框架来处理和分析学生成绩数据。具体来说,我们将计算一个包含五名学生五门科目成绩的数据集的总分和平均分。这个过程包括在云主机上准备数据,将成绩数据存储为文本文件,并…

计算机毕业设计Python+Django农产品推荐系统 农产品爬虫 农产品商城 农产品大数据 农产品数据分析可视化 PySpark Hadoop

温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 作者简介:Java领…