tof摄像头手势识别_一种基于TOF手势识别的控制系统的制作方法

本发明属于汽车零配件技术领域,尤其是一种基于TOF手势识别的控制系统。

背景技术:

随着触摸屏技术的不断推广,用户已经适应并逐渐熟悉了与机器的互动。现在,人机互动技术已迈上了更高的台阶,进入了手势识别时代。随着手势识别技术支持人机互动的不断深入发展,以及3D传感器技术的出现,其应用也变得日益广泛并多样化。

在汽车安全驾驶方面,传统的人机交互技术需要用户通过按键与车辆进行交互,使得驾驶员不得不从前方道路转移视线且至少占用单手进行触摸输入,从而导致危险的“盲目”驾驶。目前因驾驶时进行触摸式输入导致的交通事故率已经上升到第4位;相比之下,手势交互只需驾驶员自然地做出手势,无需转移注意力就能获得车辆的反馈,实现了基于自然人机交互技术的安全驾驶辅助系统,使驾驶时所有操控符合“手眼同向”的安全驾驶原则,极大地保障了行车安全。

技术实现要素:

为解决传统车内的触摸按键存在的驾驶安全性差的问题,本发明提供一种基于TOF手势识别的控制系统。

为实现上述目的,本发明采用下述技术方案:

一种基于TOF手势识别的控制系统,它包括图像识别模块、图像处理模块、TOF控制模块和BCM模块,图像识别模块与图像处理模块相连;TOF控制模块与图像处理模块相连;TOF控制模块与BCM模块相连;

图像识别模块包括2×2近红外发射器阵列、3D摄像头和TOF传感器;图像处理模块包括TOF控制器和电源控制模块;TOF控制模块包括MCU、电源模块和外围接口电路。

进一步地,图像识别模块中的2×2近红外发射器阵列用于发射红外光;图像识别模块中的3D摄像头用于捕捉反射回来的红外光信号,并发送给TOF传感器;图像识别模块中的TOF传感器用于处理接收到的模拟量信号,并将其转换为数字信号,实时发送给图像处理模块;

图像处理模块中的TOF控制器用于接收该数字信号,并将其整合成图像信息传送给TOF控制模块;

TOF控制模块中的MCU用于处理和分析接收到的图像信息,提取并识别该图像中的手势信息,并将该手势信息对应的控制命令通过CAN总线发送给BCM模块;BCM模块根据接收到的控制命令来进行相对应的功能操作。

进一步地,2×2近红外发射器阵列与3D摄像头安装在仪表台上端或下端;

2×2近红外发射器阵列与3D摄像头的安装方向为朝向驾驶员手部的方向。

进一步地,图像识别模块与图像处理模块通过时钟信号线、IIC、电源线和信号线相连;TOF控制模块与图像处理模块通过Ethernet相连;TOF控制模块与BCM模块通过CAN收发器相连。

有益效果:

通过本发明的技术方案,一方面,可替代现有方向盘上的多功能按键,通过手势对车辆进行控制,实现如调节音量、升降档、电话等功能;在驾驶员开车的时候,可以避免驾驶员因“盲操作”而造成注意力的不集中,提高了驾驶的安全性;另一方面,可替代现有按键操作方式,提高了整车的科技感。

附图说明

图1为本发明一实施例的基于TOF手势识别的控制系统中近红外发射器与3D摄像头的安装位置示意图;

图2为本发明一实施例的基于TOF手势识别的控制系统的架构图;

图中:1-图像识别模块、11-2×2近红外发射器阵列、12-3D摄像头、13-TOF传感器、2-图像处理模块、21-TOF控制器、22-电源控制模块、3-TOF控制模块、31-MCU、32-电源模块、33-外围接口电路4-BCM模块、5-CAN收发器。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本实施例提出一种基于TOF手势识别的控制系统,如图2所示,它包括图像识别模块1、图像处理模块2、TOF控制模块3和BCM模块4,图像识别模块1与图像处理模块2通过时钟信号线、IIC、电源线和信号线相连;TOF控制模块3与图像处理模块2通过Ethernet相连;TOF控制模块3与BCM模块4通过CAN收发器5(NXP公司的TJA1042)相连;

图像识别模块1包括2×2近红外发射器阵列11(JDSU公司的DiodeLaser22045498)、3D摄像头12(SoftKinetic公司的DS325)和TOF传感器13(TI公司的OPT8241芯片),2×2近红外发射器阵列11与3D摄像头12可安装在仪表台上端,如图1(b)所示,还可安装在仪表台下端,如图1(a)所示;2×2近红外发射器阵列11与3D摄像头12的安装方向为朝向驾驶员手部的方向,如图1所示;图像处理模块2包括TOF控制器21(TI公司的OPT9221芯片)和电源控制模块22(TI公司的TPS659122芯片);TOF控制模块3包括MCU 31(TI公司的AM437x系列芯片)、电源模块32和外围接口电路33。

本实施例的工作原理是:通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。即,首先,车辆启动上电,各模块初始化;2×2近红外发射器阵列11向驾驶员侧连续发射红外光,3D摄像头12捕捉从手势反射回来的红外光信号,并发送给TOF传感器13,TOF传感器13对红外光信号进行实时采样(模拟量信号),并转换为数字信号,实时发送给图像处理模块2;TOF控制器21接收该数字信号后,经过误差补偿与滤波后,绘制成带有深度信息的图像并传送给TOF控制模块3;MCU 31接收到图像信息后,通过机器学习算法识别图像中的手势信息,并将手势信息对应的控制命令通过CAN报文发送给BCM模块4,其中,识别静态手势时采用连续隐马尔科夫算法(CHMM),选用手型轮廓像素点坐标值序列作为静态手势的数据特征;识别动态手势时采用隐马尔科夫算法(HMM)算法,利用3D摄像头12捕获连续运动的手势,随后将其进行部分图像的预处理操作,利用手势分割技术将手势部分分割出来,并提取手势的质心以及面积的大小作为特征向量,用于建立隐马尔可夫模型的参数,并对其进行应用;BCM模块4根据接收到的控制命令来进行相对应的功能操作。

具体地,驾驶员手握方向盘,左手大拇指做“按”动作手势,TOF控制模块3中的MCU 31识别出图像中的该手势信息,则发送“升档功能”控制命令给BCM模块4,BCM模块4进行升档操作;驾驶员手握方向盘,右手大拇指做“按”动作手势,TOF控制模块3中的MCU 31识别出图像中的该手势信息,则发送“降档功能”控制命令给BCM模块4,BCM模块4进行降档操作;驾驶员手握方向盘,右手除大拇指以外的四指做“外弹”动作手势,TOF控制模块3中的MCU 31识别出图像中的该手势信息,则发送“电话拒接功能”控制命令给BCM模块4,BCM模块4进行拒接电话操作;驾驶员手握方向盘,右手除大拇指以外的四指做“回拨”动作手势,TOF控制模块3中的MCU 31识别出图像中的该手势信息,则发送“电话接听功能”控制命令给BCM模块4,BCM模块4进行接听接电话操作;驾驶员手握方向盘,左手食指伸直并做“顺时针画圈”动作手势,TOF控制模块3中的MCU 31识别出图像中的该手势信息,则发送“音量增加功能”控制命令给BCM模块4,BCM模块4进行增加音量操作;驾驶员手握方向盘,左手食指伸直并做“逆时针画圈”动作手势,TOF控制模块3中的MCU 31识别出图像中的该手势信息,则发送“音量减小功能”控制命令给BCM模块4,BCM模块4进行减小音量操作。

对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/311233.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

疫情期间,千万级系统宕机N次,老板撂下狠话:没法把性提升10倍,全员解雇!...

性能调优整体思路作为一名团队技术核心,如何让系统跑得通、跑得稳、跑得快是必然会面对的场景。性能分析是一个大课题,不同的架构、不同的应用场景、不同的程序语言分析的方法若有差异,抽象一下大致分为两类:自底向上:…

Pandas - 查看DataFrame信息

数据表信息查看 1、维度查看: df.shape2、数据表基本信息(维度、列名称、数据格式、所占空间等): df.info()3、每一列数据的格式: df.dtypes4、某一列格式: df[B].dtype5、空值: df.isnul…

hdu2602 Bone Collector-01背包问题

Problem Description Many years ago , in Teddy’s hometown there was a man who was called “Bone Collector”. This man like to collect varies of bones , such as dog’s , cow’s , also he went to the grave … The bone collector had a big bag with a volume of…

对比Java和.NET多线程编程

这篇文章以对比的方式总结Java和.NET多线程编程。基本概念多线程:很多开发语言都提供多线程编程支持,比如Java,C#。并发(concurrent):即使对于单核CPU,我们也会采用多线程等技术提高service的并…

Anaconda创建python虚拟环境

在创建虚拟环境之前首先我们需要打开命令终端:Win R 输入cmd 或者直接打开Anaconda Prompt(Anaconda) pycharm下载历史版本地址:https://www.jetbrains.com/pycharm/download/other.html Anaconda下载历史版本地址:ht…

vue2实践揭秘pdf_《Vue2.0 实践揭秘》终于出版啦!

不知不觉间在园子开博都两年多了,最近一些园友问最近去哪了为何都没有新的文章了。最近确实发生了很多的事,一是忙工作二就是忙着写书。这还得多些园子的小编,自两年前发表的“架构师修炼”系列的文章后被出版社相出让我将这个主题写成书&…

[蓝桥杯][算法提高VIP]夺宝奇兵-递推+记忆化搜索

题目描述 在一座山上,有很多很多珠宝,它们散落在山底通往山顶的每条道路上,不同道路上的珠宝的数目也各不相同.下图为一张藏宝地图: 7 3 8 8 1 0 2 7 4 4 4 5 2 6 5 ”夺宝奇兵”从山下出发,到达山顶,如何选路才能得到最多的珠宝呢?在上图所示例子中,按照5-> 7-> 8-&g…

这些年我对微服务的理解

Monolith、SOA、DDD、The two-pizza rule、分库分表这些概念跟微服务有啥关系,你知道吗?这篇文章记录我的理解,分享给大家。微服务(micro service),个人感觉也就近几年才吵起来的概念,记得退回去…

梯度下降与线性回归

对于代价函数: loss∑i(y^−yi)2loss\sum_i{(\hat{y}-y_i)}^2loss∑i​(y^​−yi​)2 loss∑i(w∗xib−yi)2loss\sum_i{(w*x_ib-y_i)}^2loss∑i​(w∗xi​b−yi​)2 最常见的代价函数:均方差代价函数(Mean-Square Error,MSE&…

fastreport字体自适应_FastReport 自动换行与行高自适应及自动增加空行

设定后即可自动换行及行高自适应。版本号5.6.21、masterData:属性值:stretched 为True2、Memo设定wordwrap为True ,stretchMode:smMaxHeightFastReport自动增加空行1、在masterdata下增加child;2、在code编写如下代码varPageLine: integer;//…

.NET Core开发实战(第21课:中间件:掌控请求处理过程的关键)--学习笔记(下)...

21 | 中间件:掌控请求处理过程的关键如果在 Map 的时候逻辑复杂一点,不仅仅判断它的 URL 地址,而且要做特殊的判断的话,可以这么做把判断逻辑变成一个委托我们要判断当我们的请求地址包含 abc 的时候,输出 new abcapp.…

英伟达3060Ti安装GPU版本TensorFlow2.X和Pytorch

查看Python与TensorFlow对应版本 安装GPU版本的TensorFlow的时候,我们需要考虑的一个问题是Python版本与TensorFlow版本的对应关系,可以参考下面这个链接: Python对应TensorFlow CPU版本 GPU版本 查看显卡驱动对应的CUDA版本并且下载安装 …

石子合并-区间dp

设有N堆石子排成一排,其编号为1,2,3,…,N。 每堆石子有一定的质量,可以用一个整数来描述,现在要将这N堆石子合并成为一堆。 每次只能合并相邻的两堆,合并的代价为这两堆石子的质量…

cesium米转换经纬度_cesium 笛卡尔坐标(单位:米) 与 经纬度(单位:弧度/度) 之间的转换。...

this.model.readyPromise.then(function (tileset) {//记录模型原始的中心点var boundingSphere tileset.boundingSphere;that.boundingSphere boundingSphere;//模型原始的中心点。此处是笛卡尔坐标,单位:米。var position boundingSphere.center;//…

200行代码,7个对象——让你了解ASP.NET Core框架的本质[3.x版]

2019年1月19日,微软技术(苏州)俱乐部成立,我受邀在成立大会上作了一个名为《ASP.NET Core框架揭秘》的分享。在此次分享中,我按照ASP.NET Core自身的运行原理和设计思想创建了一个 “迷你版” 的ASP.NET Core框架&…

逻辑回归(二)

逻辑回归 在学习逻辑回归之前我们先回顾一下线性回归。线性回归解决的是回归问题,简单来说就是,我们需要找到一个函数,这个函数需要尽可能的拟合所有训练集的样本点。 逻辑回归解决的是分类问题,它的目标是找到一个函数&#x…

ios 顶部tab滑动实现_iOS开发之多表视图滑动切换示例(仿头条客户端)

好长时间没为大家带来iOS开发干货的东西了,今天给大家分享一个头条新闻客户端各个类别进行切换的一个示例。在Demo中对所需的组件进行的简单封装,在封装的组件中使用的是纯代码的形式,如果想要在项目中进行使用,稍微进行修改即可。…

上元节的灯会(灭)-区间dp

题目背景 上元节的庙会上,牛宝靠自己的聪明才智成功破解了花灯阵,点亮了在场所有花灯,但他没料到的是这个游戏包含AB两个项目,A项目就是点亮所有花灯,而B项目则是熄灭所有花灯。不过点亮的是花灯阵,熄灭的…

Asp.Net Core 中IdentityServer4 授权中心之应用实战

一、前言查阅了大多数相关资料,搜索到的IdentityServer4 的应用文章大多是比较简单并且多是翻译官网的文档编写的,我这里在 Asp.Net Core 中IdentityServer4 的应用分析中会以一个电商系统架构升级过程中普遍会遇到的场景进行实战性讲述分析,…

交通标志识别项目教程

项目结构图 下载好项目压缩包后解压,得到以上的文件,首先将画红圈的文件删除(如果有) 安装软件 安装Anaconda 安装Pycharm 安装格式工厂 在上图中这个位置输入cmd回车,即可打开命令终端。用这样的方式打开命令终端…