12.【Orangepi Zero2】基于orangepi_Zero_2 Linux的智能家居项目

基于orangPi Zero 2的智能家居项目

需求及项目准备

语音接入控制各类家电，如客厅灯、卧室灯、风扇
回顾二阶段的Socket编程，实现Sockect发送指令远程控制各类家电
烟雾警报监测，实时检查是否存在煤气泄漏或者火灾警情，当存在警情时及时触发蜂鸣器报警及语音播报
控制人脸识别打开房门功能，并语音播报识别成功或者失败
局域网实时视频监控
OLED屏实话显示当前主板温度、警情信息及控制指令信息

人脸识别使用阿里SDK支持Python和Java接口，目的是复习巩固智能分类时引入C语言的Python调用。

此接口是人工智能接口，阿里云识别模型是通过训练后的模型，精准度取决于训练程度，人工智能范畴在常规嵌入式设备负责执行居多。

说白的嵌入式设备负责数据采集，然后转发给人工智能识别后，拿到结果进行执行器动作。

系统框图

在这里插入图片描述

硬件接线

硬件

USB充电头（当前实测可用：5V/2.5A)x1、USB转TYPE-Cx1、SU-03Tx1、烟雾报警模块x1、4路继电器x1、 OLEDx1、电磁锁x1（5V吸合开锁）、蜂鸣器x1、小风扇+电机x1(需要自行购买)、面包板x1、 5号1.5V电池x6 、 2节电池盒x1、4节电池盒x1、带3路led灯小房子（3.3V可驱动，需自行购买搭建）

接线

在这里插入图片描述

语音模块配置

在这里插入图片描述

阿里云人脸识别方案

在之前树莓派的人脸识别方案采用了翔云平台的方案去1V1上传比对两张人脸比对，这种方案是可行，可以继续采用。但为了接触更多了云平台方案，在Orange Pi Zero2里，讲采用人脸搜索1:N方案，通过提前在阿里云人脸数据库里存储人脸照片后，输入单张已授权人脸图像，与人脸库中人脸图片进行对比，最终获取比对结果。

在这里插入图片描述

开通完后，在”工作台->开发能力->人脸人体->人脸数据库管理 " 添加人脸照片样本：

在这里插入图片描述

数据库默认名字db_name/DbName：default
EntityId/实体Id

上传数据库后，安装阿里云人脸识别SDK：

pip install alibabacloud_facebody20191230

导入ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET环境变量：

vi ~/.bashrc #最后的结尾添加， 在垃圾分类的项目里如果已经添加过就不需要添加了
export ALIBABA_CLOUD_ACCESS_KEY_ID="你的KEY_ID"
export ALIBABA_CLOUD_ACCESS_KEY_SECRET="你的KEY_SECRECT"

在这里插入图片描述

可以拿同一人的照片和不同人的照片用官方python代码进行对比：

# -*- coding: utf-8 -*-
# 引入依赖包
# pip install alibabacloud_facebody20191230import os
import io
from urllib.request import urlopen
from alibabacloud_facebody20191230.client import Client
from alibabacloud_facebody20191230.models import SearchFaceAdvanceRequest
from alibabacloud_tea_openapi.models import Config
from alibabacloud_tea_util.models import RuntimeOptionsconfig = Config(# 创建AccessKey ID和AccessKey Secret，请参考https://help.aliyun.com/document_detail/175144.html。# 如果您用的是RAM用户的AccessKey，还需要为RAM用户授予权限AliyunVIAPIFullAccess，请参考https://help.aliyun.com/document_detail/145025.html。# 从环境变量读取配置的AccessKey ID和AccessKey Secret。运行代码示例前必须先配置环境变量。access_key_id=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID'),access_key_secret=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),# 访问的域名endpoint='facebody.cn-shanghai.aliyuncs.com',# 访问的域名对应的regionregion_id='cn-shanghai'
)search_face_request = SearchFaceAdvanceRequest()
#场景一：文件在本地
def alicloud_Search_Face():stream0 = open(r'/home/orangepi/smarthouse/face.jpg', 'rb')search_face_request.image_url_object = stream0#场景二：使用任意可访问的url#url = 'https://viapi-test-bj.oss-cn-beijing.aliyuncs.com/viapi-3.0domepic/facebody/SearchFace1.png'#img = urlopen(url).read()#search_face_request.image_url_object = io.BytesIO(img)search_face_request.db_name = 'default' #数据库默认名字db_name/DbName : defaultsearch_face_request.limit = 5runtime_option = RuntimeOptions()try:# 初始化Clientclient = Client(config)response = client.search_face_advance(search_face_request, runtime_option)# 获取整体结果print(response.body)if 'MatchList' in response.body.to_map()['Data']:message = response.body.to_map()['Data']['MatchList']scores = []for match in message:for item in match.get('FaceItems', []):score = item.get('Score')if score is not None:  # 确保分数不为 Nonescores.append(score)if scores:  # 确保至少有一个分数max_score = max(scores)value = round(max_score, 2)print(f"The max score = {value}")return valueelse:print("No scores found.")else:print("No matches found.")except Exception as error:# 获取整体报错信息print(error)# 获取单个字段print(error.code)# tips: 可通过error.__dict__查看属性名称if __name__ == "__main__":alicloud_Search_Face()#关闭流
#stream0.close()

一般比对成功的Python字典数据里的score会有大于0.6的值，而比对失败score普遍低于0.1。

例如下面是比对成功的数据：


orangepi@orangepizero2:~/smarthouse$ python3.10 face_test.py
{'Data': {'MatchList': [{'FaceItems': [{'Confidence': 85.15245, 'DbName': 'default', 'EntityId': 'liuyifei', 'FaceId': '150447260', 'Score': 0.814702570438385}, {'Confidence': 84.88723, 'DbName': 'default', 'EntityId': 'liuyifei', 'FaceId': '150447272', 'Score': 0.8113926649093628}, {'Confidence': 7.232084, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443939', 'Score': 0.041851237416267395}, {'Confidence': 4.7650957, 'DbName': 'default', 'EntityId': 'Pakho', 'FaceId': '150437504', 'Score': 0.027575060725212097}, {'Confidence': 0.0, 'DbName': 'default', 'EntityId': 'Zillion', 'FaceId': '156036363', 'Score': -0.005117176100611687}], 'Location': {'Height': 162, 'Width': 120, 'X': 220, 'Y': 205}, 'QualitieScore': 99.81394}]}, 'RequestId': '13B42F67-CDAF-5DEF-A3A4-B2ECFCB84679'}
The max score = 0.81

比对失败的数据则如下所示：


orangepi@orangepizero2:~/smarthouse$ python3.10 face_test.py
{'Data': {'MatchList': [{'FaceItems': [{'Confidence': 14.181928, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443939', 'Score': 0.08206918835639954}, {'Confidence': 9.166144, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443926', 'Score': 0.0530434250831604}, {'Confidence': 7.3621774, 'DbName': 'default', 'EntityId': 'liuyifei', 'FaceId': '150447272', 'Score': 0.042604073882102966}, {'Confidence': 4.4048343, 'DbName': 'default', 'EntityId': 'Pakho', 'FaceId': '150435069', 'Score': 0.02549027092754841}, {'Confidence': 3.6446795, 'DbName': 'default', 'EntityId': 'Pakho', 'FaceId': '150437504', 'Score': 0.021091341972351074}], 'Location': {'Height': 200, 'Width': 157, 'X': 97, 'Y': 134}, 'QualitieScore': 98.50028}, {'FaceItems': [{'Confidence': 5.9368124, 'DbName': 'default', 'EntityId': 'Zillion', 'FaceId': '156036363', 'Score': 0.03435565158724785}, {'Confidence': 4.0936313, 'DbName': 'default', 'EntityId': 'Pakho', 'FaceId': '150435069', 'Score': 0.023689374327659607}, {'Confidence': 2.6310804, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443939', 'Score': 0.015225759707391262}, {'Confidence': 2.4909613, 'DbName': 'default', 'EntityId': 'liuyifei', 'FaceId': '150447260', 'Score': 0.01441490650177002}, {'Confidence': 1.2927439, 'DbName': 'default', 'EntityId': 'linfeng', 'FaceId': '150443926', 'Score': 0.007480960339307785}], 'Location': {'Height': 119, 'Width': 135, 'X': 369, 'Y': 531}, 'QualitieScore': 51.177025}]}, 'RequestId': '62CA237A-CC70-5486-9909-22108C853CD1'}
The max score = 0.08

因此，就可以利用获取的最大score的值判断是否大于0.6来判断是否比对成功。

返回数据的说明：

Data：这是一个对象，其中包含了匹配列表的信息。
MatchList：这是一个数组，其中包含了匹配的结果。每个元素都是一个对象，代表一个匹配项。
FaceItems：这是一个数组，其中包含了匹配项中所有人脸的信息。每个元素都是一个对象，包含了一些关于该人脸的信息，如自信度（Confidence）、数据库名（DbName）、实体ID（EntityId）、面部ID（FaceId）和分数（Score）。
Location：这是一个对象，包含了人脸在原始图像中的位置信息，包括宽度（Width）、高度（Height）、左上角的x坐标（X）和y坐标（Y）。
QualitieScore：这是一个浮点数，表示了整个匹配过程的质量得分。

C语言调用阿里云人脸识别接口

face.c

#include <Python.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>void face_Init(void)
{Py_Initialize();PyObject *sys = PyImport_ImportModule("sys");PyObject *path = PyObject_GetAttrString(sys, "path");PyList_Append(path, PyUnicode_FromString("."));
}void face_Finalize(void)
{Py_Finalize();
}double alicloud_Search_Face(void)
{PyObject *pModule = PyImport_ImportModule("face");if (!pModule){PyErr_Print();printf("Error: failed to load face.py\n");goto FAILED_MODULE;}PyObject *pFunc = PyObject_GetAttrString(pModule, "alicloud_Search_Face");if (!pFunc){PyErr_Print();printf("Error: failed to load alicloud_Search_Face\n");goto FAILED_FUNC;}PyObject *pValue = PyObject_CallObject(pFunc, NULL);if (!pValue){PyErr_Print();printf("Error: function call failed\n");goto FAILED_VALUE;}double result = 0.00;if(!PyArg_Parse(pValue, "d", &result)){PyErr_Print();printf("Error: parse failed\n");goto FAILED_RESULT;}printf("result = %lf\n", result);FAILED_RESULT:Py_DECREF(pValue);
FAILED_VALUE:Py_DECREF(pFunc);
FAILED_FUNC:Py_DECREF(pModule);
FAILED_MODULE:return result;
}

main.c

#include <stdio.h>
#include <stdlib.h>
#include "face.h"int main()
{double face = 0.00;face_Init();face  = alicloud_Search_Face();printf("face = %f\n", face);face_Finalize();return 0;
}

face.py

# -*- coding: utf-8 -*-
# 引入依赖包
# pip install alibabacloud_facebody20191230import os
import io
from urllib.request import urlopen
from alibabacloud_facebody20191230.client import Client
from alibabacloud_facebody20191230.models import SearchFaceAdvanceRequest
from alibabacloud_tea_openapi.models import Config
from alibabacloud_tea_util.models import RuntimeOptionsconfig = Config(# 创建AccessKey ID和AccessKey Secret，请参考https://help.aliyun.com/document_detail/175144.html。# 如果您用的是RAM用户的AccessKey，还需要为RAM用户授予权限AliyunVIAPIFullAccess，请参考https://help.aliyun.com/document_detail/145025.html。# 从环境变量读取配置的AccessKey ID和AccessKey Secret。运行代码示例前必须先配置环境变量。access_key_id=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID'),access_key_secret=os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),# 访问的域名endpoint='facebody.cn-shanghai.aliyuncs.com',# 访问的域名对应的regionregion_id='cn-shanghai'
)search_face_request = SearchFaceAdvanceRequest()
#场景一：文件在本地
def alicloud_Search_Face():stream0 = open(r'/home/orangepi/smarthouse/liuyifei_test.jpg', 'rb')search_face_request.image_url_object = stream0#场景二：使用任意可访问的url#url = 'https://viapi-test-bj.oss-cn-beijing.aliyuncs.com/viapi-3.0domepic/facebody/SearchFace1.png'#img = urlopen(url).read()#search_face_request.image_url_object = io.BytesIO(img)search_face_request.db_name = 'default' #数据库默认名字db_name/DbName : defaultsearch_face_request.limit = 5runtime_option = RuntimeOptions()try:# 初始化Clientclient = Client(config)response = client.search_face_advance(search_face_request, runtime_option)# 获取整体结果print(response.body)if 'MatchList' in response.body.to_map()['Data']:message = response.body.to_map()['Data']['MatchList']scores = []for match in message:for item in match.get('FaceItems', []):score = item.get('Score')if score is not None:  # 确保分数不为 Nonescores.append(score)if scores:  # 确保至少有一个分数max_score = max(scores)value = round(max_score, 2)print(f"The max score = {value}")return valueelse:print("No scores found.")else:print("No matches found.")except Exception as error:# 获取整体报错信息print(error)# 获取单个字段print(error.code)# tips: 可通过error.__dict__查看属性名称if __name__ == "__main__":alicloud_Search_Face()#关闭流
#stream0.close()

智能家居项目的软件实现

软件框架

整个项目开启4个监听线程，分别是：

语音监听线程:用于监听语音指令，当有语音指令过来后，通过消息队列的方式给消息处理线程发送指令。
网络监听线程：用于监听网络指令，当有网络指令过来后，通过消息队列的方式给消息处理线程发送指令。
火灾检测线程：当存在煤气泄漏或者火灾闲情时，发送警报指令给消息处理线程。
消息监听线程：用于处理以上3个线程发过来的指令，并根据指令要求配置GPIO引脚状态，OLED 屏显示、语音播报，还有人脸识别开门。

上述四个线程采用统一个对外接口接口，同时添加到监听链表中。

代码实现

之前讲过智能分类的项目，因为会用到语音模块、OLED显示、网络模块、这些代码都可以从智能分类的项目中直接拷贝过来使用，另外添加之前准备好的人脸识别的代码。另外根据软件框架。再定义gdevice.h和control.h的头文件。

control.h

#ifndef _CONTROL_H_
#define _CONTROL_H_#include <stdlib.h>
#include <stdio.h>struct control
{char control_name[128]; //监听模块名称 int (*init)(void); //初始化函数void (*final)(void);//结束释放函数void *(*get)(void *arg);//监听函数，如语音监听void *(*set)(void *arg); //设置函数，如语音播报struct control *next;
};struct control *add_control_to_ctrl_list(struct control *phead, struct control *device);#endif

control.c

#include "control.h"struct control *add_control_to_ctrl_list(struct control *phead, struct control *ctrl_interface)
{
//    struct control *p = phead;if (phead == NULL){phead = ctrl_interface;printf("%s|%s|%d:\n", __FILE__, __FUNCTION__, __LINE__);return phead;}else{ctrl_interface->next = phead;phead = ctrl_interface;printf("%s|%s|%d:\n", __FILE__, __FUNCTION__, __LINE__);return phead;}return phead;
}

device.h

#ifndef _DEVICE_H_
#define _DEVICE_H_#include <stdio.h>
#include <stdlib.h>
#include <wiringPi.h>struct gdevice
{char dev_name[128]; //设备名称int key; //key值，用于匹配控制指令的值int gpio_pin; //控制的gpio引脚int gpio_mode; //输入输出模式int gpio_status; //高低电平状态int check_face_status; //是否进行人脸检测状态int voice_set_status; //是否语音语音播报struct gdevice *next;
};struct gdevice *add_device_to_gdevice_list(struct gdevice *phead, struct gdevice *device);struct gdevice *find_gdevice_by_key(struct gdevice *pdev, unsigned char key);int set_gpio_gdevice_status(struct gdevice *pdev);#endif

device.c

#include "device.h"struct gdevice *add_device_to_gdevice_list(struct gdevice *phead, struct gdevice *device)
{struct gdevice *p = phead;printf("%s|%s|%d:%p\n", __FILE__, __FUNCTION__, __LINE__, p);if(p == NULL){phead = device;printf("%s|%s|%d:\n", __FILE__, __FUNCTION__, __LINE__);return phead;}else{device->next = phead;phead = device;printf("%s|%s|%d:\n", __FILE__, __FUNCTION__, __LINE__);return phead;}return phead;
}struct gdevice *find_gdevice_by_key(struct gdevice *pdev, unsigned char key)
{struct gdevice *p = pdev;printf("%s|%s|%d:\n", __FILE__, __FUNCTION__, __LINE__);if(p == NULL){printf("%s|%s|%d:\n", __FILE__, __FUNCTION__, __LINE__);return NULL;}while(p != NULL){if(p->key == key){printf("%s|%s|%d:\n", __FILE__, __FUNCTION__, __LINE__);return p;}p = p->next;if(p == NULL){p = pdev;}}return NULL;
}#if 0struct gdevice
{char dev_name[128]; //设备名称int key; //key值，用于匹配控制指令的值int gpio_pin; //控制的gpio引脚int gpio_mode; //输入输出模式int gpio_status; //高低电平状态int check_face_status; //是否进行人脸检测状态int voice_set_status; //是否语音语音播报struct gdevice *next;
};#endifint set_gpio_gdevice_status(struct gdevice *pdev)
{
//    printf("\033[41;30m%s|%s|%d:pdev->gpio_status = %d\033[0m\n", __FILE__, __FUNCTION__, __LINE__, pdev->gpio_status);if (pdev != NULL){printf("%s|%s|%d:pdev->gpio_status = %d\n", __FILE__, __FUNCTION__, __LINE__, pdev->gpio_status);if (pdev->gpio_pin != -1){pinMode(pdev->gpio_pin, pdev->gpio_mode);printf("\033[45;30m%s|%s|%d:gpio_pin = %d, gpio_mode = %d\033[0m\n", __FILE__, __FUNCTION__, __LINE__, pdev->gpio_pin, pdev->gpio_mode);}if(pdev->gpio_status != -1){digitalWrite(pdev->gpio_pin, pdev->gpio_status);printf("%s|%s|%d:pdev->gpio_status = %d\n", __FILE__, __FUNCTION__, __LINE__, pdev->gpio_status);}return 0;}else{
//        printf("%s|%s|%d: \033[41;36m something here \033[0m\n", __FILE__, __FUNCTION__, __LINE__);return -1;}
}

剩余工程代码放在Github上

因为 .c 文件已经多达17个了，虽然是CV但是也很麻烦，干脆直接把整个工程放在 Github 上了。

https://github.com/Zillion6/orangePi_smart_house.git

git clone https://github.com/Zillion6/orangePi_smart_house.git

内置有两个版本的智能家居项目，一个是仅用结构体配置链表，另一个则是用 .inih 轻量级的C库构成链表。