目录
一、硬件连接
二、项目实现功能
三、SU-03T语音模块的配置和烧录
3.1 创建产品:
3.2 设置PIN引脚为串口模式:
3.3 设置唤醒词:
3.4 设置指令语句:
3.5 设置控制详情:
3.6 发音人配置:
3.7 其他设置:
3.7 下载SDK并烧录到语音模块SU-03T:
四、测试语音模块:
4.1 通过语音模块与串口助手连接测试语音模块:
4.2 用代码来测试语音模块:
五、将手机接入香橙派
5.1 查看手机是否接入:
5.2 ADB的认知和常用命令:
5.3 安装ADB:
5.4 设置手机权限:
5.5 使用shell指令来模拟手滑屏幕:
六、编程实现项目功能
一、硬件连接
二、项目实现功能
项目通过语音模块来输出指令控制手机刷抖音,可以实现:上一个、下一个、点赞等功能
-
开机播报少刷抖音多看书
-
当说出小布小布可以唤醒语音模块,模块回复我在呢
-
当超过10S没有指令或者说出退下时,模块会进入到休眠模式,并且回复有需要再叫我
-
当说出下一个的时候,模块回复好的,并且通过串口发送指令给H616,让手机划到下一个视频
-
当说出上一个的时候,模块回复好的,并且通过串口发送指令给H616,让手机划到上一个视频
-
当说出点赞的时候,模块回复遵命,并且通过串口发送指令给H616,让手机点赞
-
当说出不看了的时候,模块回复拜拜,并且通过串口发送指令给H616,让手机锁屏
三、SU-03T语音模块的配置和烧录
3.1 创建产品:
3.2 设置PIN引脚为串口模式:
SU-03T语音模块的串口引脚是B6和B7,并设置相应的波特率
3.3 设置唤醒词:
3.4 设置指令语句:
3.5 设置控制详情:
3.6 发音人配置:
3.7 其他设置:
3.7 下载SDK并烧录到语音模块SU-03T:
语音模块配置完成后,大约等待10-30分钟后,将语音模块生成的SDK下载到电脑中,用生成的SDK包中的烧录软件进行烧录:
四、测试语音模块:
4.1 通过语音模块与串口助手连接测试语音模块:
语音模块配置完成后,将语音模块与CH340串口助手链接,然后通过喊语音模块观察串口助手的指令
4.2 用代码来测试语音模块:
/*mySerialTool.c*/
#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <stdarg.h>
#include <string.h>
#include <termios.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/ioctl.h>
#include <sys/types.h>
#include <sys/stat.h>/*打开指定的串口设备,并设置波特率*/
int mySerialOpen(const char *device, const int baud)
{struct termios options; // 串口配置参数speed_t myBaud; // 波特率int status, fd; // 状态和文件描述符//根据传入的波特率参数设置相应的波特率switch(baud){case 9600:myBaud = B9600;break;case 115200:myBaud = B115200;break;default:printf("不支持的波特率!\n");return -2;} //打开串口设备if( (fd = open(device, O_RDWR | O_NOCTTY | O_NDELAY)) == -1){printf("无法打开串口设备\n");return -1;}// 设置文件描述符的标志为读写模式fcntl(fd, F_SETFL, O_RDWR);// 获取当前串口配置tcgetattr(fd, &options);// 设置串口为原始模式,无特殊处理cfmakeraw(&options);// 设置输入波特率cfsetispeed(&options, myBaud);// 设置输出波特率cfsetospeed(&options, myBaud);// 清除标志位并设置数据格式options.c_cflag |= (CLOCAL | CREAD);options.c_cflag &= ~PARENB; // 无奇偶校验位options.c_cflag &= ~CSTOPB; // 1个停止位options.c_cflag &= ~CSIZE; // 清除数据位options.c_cflag |= CS8; // 设置为8位数据位options.c_lflag &= ~(ICANON | ECHO | ECHOE | ISIG); // 非规范模式,不执行输入处理options.c_oflag &= ~OPOST; // 输出处理// 设置读取时的超时和最小接收字符数options.c_cc[VMIN] = 0;options.c_cc[VTIME] = 100; // 10秒超时// 应用串口配置tcsetattr(fd, TCSANOW, &options);// 使用ioctl设置串口的DTR和RTS信号ioctl(fd, TIOCMGET, &status);status |= TIOCM_DTR;status |= TIOCM_RTS;ioctl(fd, TIOCMSET, &status);// 短暂延时usleep(10000); // 10毫秒延时return fd; // 返回文件描述符
}/*向指定的串口设备发送字符串*/
void mySerialSendString(const int fd, const char *str)
{int ret;ret = write(fd, str, strlen(str)); // 发送字符串if(ret == -1){printf("串口发送失败!\n");exit(-1); // 发送失败,退出程序}
}/*从指定的串口设备读取字符串*/
int mySerialReadString(const int fd, char *buffer)
{int n_read;n_read = read(fd, buffer, 32); // 读取串口数据if(n_read == -1){printf("串口读取失败!\n");exit(-1); // 读取失败,退出程序}
}/*从指定的串口设备读取一个字符*/
char mySerialGetChar(const int fd)
{char x;if(read(fd, &x, 1) != 1){printf("串口读取失败!\n");exit(-1); // 读取失败,退出程序}return x;
}
/*mySerial.h*/
/*
* @Author: <NAME> 打开指定的串口设备,并设置波特率
*
* @param device 串口设备名称,如"/dev/ttyUSB0"
* @param baud 波特率,如9600、115200等
* @return 成功返回文件描述符,失败返回-1
*/
int mySerialOpen(const char *device, const int baud);/*
* @Author: 向指定的串口设备发送字符串
*
* @param fd 串口设备文件描述符
* @param str 要发送的字符串
* @return 无
*/
void mySerialSendString(const int fd, const char *str);/*
* @Author: 从指定的串口设备读取字符串
*
* @param fd 串口设备文件描述符
* @param buffer 读取到的字符串存放的缓冲区
* @return 读取到的字符串的长度,失败返回-1
*/
int mySerialReadString(const int fd, char *buffer);/*
* @Author: 从指定的串口设备读取一个字符
*
* @param fd 串口设备文件描述符
* @return 读取到的字符,失败返回-1
*/
char mySerialGetChar(const int fd);
/*mySerialTest2.c*/
#include <stdio.h> // 包含标准输入输出库头文件
#include <string.h> // 包含字符串处理库头文件
#include <errno.h> // 包含错误号头文件
#include <stdlib.h> // 包含标准库头文件
#include <pthread.h> // 包含线程库头文件
#include <unistd.h> // 包含unistd库头文件,用于延时
#include "mySerial.h" // 包含自定义串口通信头文件int fd; // 串口文件描述符void* readSerial()
{char cmd;while(1){cmd = mySerialGetChar(fd); // 读取串口数据 switch(cmd){case 'c':printf("上一个\n"); break;case 'h':printf("下一个\n"); break;case 'j':printf("点赞\n"); break;case '^':printf("不看了\n");break;}}
}int main(int argc, char **argv)
{char deviceName[32] = {'\0'}; // 设备名pthread_t readThread; // 读取线程 // 发送线程 if(argc < 2){printf("Usage: %s /dev/ttyS?\n", argv[0]);return -1;}strcpy(deviceName, argv[1]); // 拷贝设备名if( (fd = mySerialOpen(deviceName, 115200)) == -1){ // 打开串口printf("open %s failed\n", deviceName);}pthread_create(&readThread, NULL, readSerial, NULL); // 创建读取线程while(1){sleep(10); // 延时10秒}return 0;
}
五、将手机接入香橙派
将我的手机接入到香橙派,使用一颗TYPE-C的USB线连接到全志的USB2.0接口上
5.1 查看手机是否接入:
dmesg //查看手机是否接入
输入dmesg指令查看手机接入情况,可见我的OPPO手机已经接入了
5.2 ADB的认知和常用命令:
ADB(Android Debug Bridge)是一种用于与安卓设备通信和调试的命令行工具。它是Android开发工具包(Android SDK)的一部分,用于在开发过程中连接、控制和调试Android设备或模拟器。
ADB提供了一组命令,允许开发者在计算机上执行各种操作,包括安装和卸载应用程序、传输文件、执行Shell命令、查看设备日志等。使用ADB,开发者可以与设备交互,调试应用程序、分析问题并进行性能优化。
ADB可以通过USB连接或通过网络连接到Android设备。通过USB连接,开发者可以直接将设备连接到计算机,并通过ADB命令与设备进行通信。通过网络连接,开发者可以使用无线网络连接到设备,从而无需使用USB线缆。
需要注意的是,ADB在设备上需要开启开发者选项和USB调试模式才能正常使用。此外,ADB还提供了一些高级功能,如端口转发、截屏、录屏等,以支持更丰富的开发和调试需求。
总的来说,ADB是Android开发中非常重要的工具,它简化了与Android设备的通信和调试过程,为开发者提供了更好的开发环境和工作效率。
ADB(Android Debug Bridge)是一个用于在计算机和 Android 设备之间进行通信的命令行工具。它允许开发者执行各种设备操作,例如安装和调试应用程序、访问设备的 Shell、复制文件到设备或从设备复制文件等。ADB 是 Android SDK 的一部分,开发者可以使用它与 Android 设备进行交互。
以下是一些常用的ADB命令:
-
连接设备:
adb devices
-
安装应用:
adb install example.apk
-
卸载应用:
adb uninstall com.example.package
-
启动应用:
adb shell am start -n com.example.package/.MainActivity
-
查看设备信息:
adb shell getprop
-
复制文件到设备:
adb push localfile.txt /sdcard/
-
从设备复制文件:
adb pull /sdcard/remotefile.txt
-
启动设备shell:
adb shell
-
查看日志:
adb logcat
这只是一些常见的 ADB 命令示例,ADB 提供了更多的功能,可以帮助开发者进行 Android 应用程序的开发、调试和测试。请注意,使用 ADB 前需要确保 Android 设备已启用开发者选项和 USB 调试。
5.3 安装ADB:
由于安卓手机的底层也是用Linux系统来操作的,所以可以通过香橙派来直接进入控制手机shell的界面,但需要先安装adb工具
sudo apt-get install adb
安装完成之后,执行adb devices指令连接设备,但是好像发现权限不太对,因此需要在手机上设置权限
5.4 设置手机权限:
-
报错的本质原因是香橙派系统还不支持USB设备的热拔插和UDEV的机制
-
解决办法:在 /etc/udev/rules.d 文件夹下创建规则文件:
cd /etc/udev/rules.d/
sudo vim 51-android.rules
在文件中添加内容:SUBSYSTEM=="usb", ENV{DEVTYPE}=="usb_device", MODE="0666"
然后重新拔插手机,然后再次执行adb devices指令:(前提手机已经代开开发者模式中的USB调试)
然后输入adb shell启动设备shell:
连接手机成功!!!
5.5 使用shell指令来模拟手滑屏幕:
现在可以成功的连入手机内部的系统,关键就在于对于滑动或点击屏幕的指令模拟了:
-
adb shell input swipe <起始x坐标> <起始y坐标> <结束x坐标> <结束y坐标> <滑动持续时间ms>
-
adb shell input keyevent <按键事件的常量>
adb shell input swipe 540 1300 540 500 500 //下滑
adb shell input swipe 540 500 540 1300 500 //上滑
adb shell "seq 4 | while read i;do input tap 350 1050 & input tap 350 1050 &sleep 0.05;done;" //点赞
adb shell input keyevent 26 //锁屏
六、编程实现项目功能
/*mySerialTool.c*/
#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <stdarg.h>
#include <string.h>
#include <termios.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/ioctl.h>
#include <sys/types.h>
#include <sys/stat.h>/*打开指定的串口设备,并设置波特率*/
int mySerialOpen(const char *device, const int baud)
{struct termios options; // 串口配置参数speed_t myBaud; // 波特率int status, fd; // 状态和文件描述符//根据传入的波特率参数设置相应的波特率switch(baud){case 9600:myBaud = B9600;break;case 115200:myBaud = B115200;break;default:printf("不支持的波特率!\n");return -2;} //打开串口设备if( (fd = open(device, O_RDWR | O_NOCTTY | O_NDELAY)) == -1){printf("无法打开串口设备\n");return -1;}// 设置文件描述符的标志为读写模式fcntl(fd, F_SETFL, O_RDWR);// 获取当前串口配置tcgetattr(fd, &options);// 设置串口为原始模式,无特殊处理cfmakeraw(&options);// 设置输入波特率cfsetispeed(&options, myBaud);// 设置输出波特率cfsetospeed(&options, myBaud);// 清除标志位并设置数据格式options.c_cflag |= (CLOCAL | CREAD);options.c_cflag &= ~PARENB; // 无奇偶校验位options.c_cflag &= ~CSTOPB; // 1个停止位options.c_cflag &= ~CSIZE; // 清除数据位options.c_cflag |= CS8; // 设置为8位数据位options.c_lflag &= ~(ICANON | ECHO | ECHOE | ISIG); // 非规范模式,不执行输入处理options.c_oflag &= ~OPOST; // 输出处理// 设置读取时的超时和最小接收字符数options.c_cc[VMIN] = 0;options.c_cc[VTIME] = 100; // 10秒超时// 应用串口配置tcsetattr(fd, TCSANOW, &options);// 使用ioctl设置串口的DTR和RTS信号ioctl(fd, TIOCMGET, &status);status |= TIOCM_DTR;status |= TIOCM_RTS;ioctl(fd, TIOCMSET, &status);// 短暂延时usleep(10000); // 10毫秒延时return fd; // 返回文件描述符
}/*向指定的串口设备发送字符串*/
void mySerialSendString(const int fd, const char *str)
{int ret;ret = write(fd, str, strlen(str)); // 发送字符串if(ret == -1){printf("串口发送失败!\n");exit(-1); // 发送失败,退出程序}
}/*从指定的串口设备读取字符串*/
int mySerialReadString(const int fd, char *buffer)
{int n_read;n_read = read(fd, buffer, 32); // 读取串口数据if(n_read == -1){printf("串口读取失败!\n");exit(-1); // 读取失败,退出程序}
}/*从指定的串口设备读取一个字符*/
char mySerialGetChar(const int fd)
{char x;if(read(fd, &x, 1) != 1){printf("串口读取失败!\n");exit(-1); // 读取失败,退出程序}return x;
}
/*mySerial.h*/
/*
* @Author: <NAME> 打开指定的串口设备,并设置波特率
*
* @param device 串口设备名称,如"/dev/ttyUSB0"
* @param baud 波特率,如9600、115200等
* @return 成功返回文件描述符,失败返回-1
*/
int mySerialOpen(const char *device, const int baud);/*
* @Author: 向指定的串口设备发送字符串
*
* @param fd 串口设备文件描述符
* @param str 要发送的字符串
* @return 无
*/
void mySerialSendString(const int fd, const char *str);/*
* @Author: 从指定的串口设备读取字符串
*
* @param fd 串口设备文件描述符
* @param buffer 读取到的字符串存放的缓冲区
* @return 读取到的字符串的长度,失败返回-1
*/
int mySerialReadString(const int fd, char *buffer);/*
* @Author: 从指定的串口设备读取一个字符
*
* @param fd 串口设备文件描述符
* @return 读取到的字符,失败返回-1
*/
char mySerialGetChar(const int fd);
/*mySerialTest.c*/
#include <stdio.h> // 包含标准输入输出库头文件
#include <string.h> // 包含字符串处理库头文件
#include <errno.h> // 包含错误号头文件
#include <stdlib.h> // 包含标准库头文件
#include <pthread.h> // 包含线程库头文件
#include <unistd.h> // 包含unistd库头文件,用于延时
#include "mySerial.h" // 包含自定义串口通信头文件int fd; // 串口文件描述符void* readSerial()
{char cmd;while(1){cmd = mySerialGetChar(fd); // 读取串口数据 switch(cmd){case 'c':printf("上一个\n");system("adb shell input swipe 540 500 540 1300 100"); break;case 'h':printf("下一个\n");system("adb shell input swipe 540 1300 540 500 100"); break;case 'j':printf("点赞\n");system("adb shell \"seq 4 | while read i;do input tap 350 1050 & input tap 350 1050 &sleep 0.05;done;\""); // 点赞 break;case '^':printf("不看了\n");system("adb shell input keyevent 26"); // 不看了 break;}}
}int main(int argc, char **argv)
{char deviceName[32] = {'\0'}; // 设备名pthread_t readThread; // 读取线程 // 发送线程 if(argc < 2){printf("Usage: %s /dev/ttyS?\n", argv[0]);return -1;}strcpy(deviceName, argv[1]); // 拷贝设备名if( (fd = mySerialOpen(deviceName, 115200)) == -1){ // 打开串口printf("open %s failed\n", deviceName);}pthread_create(&readThread, NULL, readSerial, NULL); // 创建读取线程while(1){sleep(10); // 延时10秒}return 0;
}