有 AI,无障碍,AIoT 设备为视障人群提供便利

据世界卫生组织统计,全球共 22 亿人视力受损,包含 2.85 亿视障人群和 3,900 万全盲人群。而且,这一数字将随老龄化加剧不断增加。
虽然视障人群面临着诸多不便,但是针对视障人群的辅助设备却存在成本高、维护困难、操作复杂等问题,很难满足他们的生活需求。
为此,广东技术师范大学和武汉科技大学的研究者基于智慧物联网共同开发了一套视障辅助设备,通过 AI 算法和传感器为视障人群的生活带来便利。

作者 | 雪菜

编辑 | 三羊、铁塔

2019 年,世界卫生组织 (WHO) 发布了第一份「世界视力报告」。报告称,全球至少有 22 亿视力受损者,其中 2.85 亿人为视障人群,3,900 万人彻底失明。受全球人口增长和人口老龄化的影响,视障人群的数量在 2040 年可能会增长 3 倍。

![](https://img-blog.csdnimg.cn/img_convert/df37da58b69793dffed98258850eb7e9.jpeg

图 1:全球视力受损者估计人数

视障者无法通过视觉系统接收外界的信息,在日常生活中面临着诸多不便。他们很难躲避附近的障碍物,也无法从书籍或是屏幕中获取信息。

然而,对视障人群进行长期健康监护成本很高,而现有的视障人群辅助设备价格昂贵、比较笨重且交互性差,也很难满足他们的日常需求。

为解决上述问题,广东技术师范大学和武汉科技大学的研究者基于智慧物联网 (AIoT, Artificial Intelligence of Things) 开发了一套视障辅助设备

这套设备主要包括智能眼镜和智能盲杖,总造价约 480 元。它可以通过多种传感器监测使用者和环境的状态,帮助使用者与环境进行交互并在危险状况下发出警报。这一成果已发表于「Electronics」。

在这里插入图片描述

这一成果已发表于 「Electronics」

论文链接:

https://www.mdpi.com/2079-9292/12/18/3760

设备设计

AIoT 架构:感知与交互

视障辅助设备的 AIoT 架构包括 3 层:

1、感知层,即收集外部数据的传感器及模组;

2、网格层,使用窄带物联网 (NB-IoT) 进行数据连接,并使用 HTTP 和 MQTT 协议进行数据传输;

3、应用层,主要通过 APP 和蓝牙音频设备与用户进行交互。

在这里插入图片描述

图 2:AIoT 的架构示意图

智能眼镜YOLO v5 + OCR

视障辅助设备应兼具便利和可靠性,以满足视障人群的日常需要。为此,研究人员通过双目相机收集图像,随后通过轻量级网格模型 YOLO v5 对物体及其距离进行分析,或是通过光学字符识别 (OCR) 阅读文字。

在这里插入图片描述

图 3:智能眼镜的结构示意图

物体识别过程中,YOLO v5 算法会将图片划分为网格,随后预测每个网格单元的边界框,并在创建边界框的同时识别出图片中的不同物体

YOLO v5 网格主要分为 4 层,包括:

1、input:用于对输入图像进行初始定义;

2、backbone:利用卷积神经网络 (CNN) 提取图像特征;

3、neck:整合图像特征,并连接 backbone 层和 output 层;

4、output:利用边界框输入对图像中物体的预测。

在这里插入图片描述

图 4:本研究中 YOLO v5 算法架构

除图像识别外,YOLO v5 算法还能通过对比双目相机的图像计算用户与障碍物之间的距离。

在这里插入图片描述

图 5:YOLO v5 计算障碍物距离的方法

在这里插入图片描述

图 6:YOLO v5 计算障碍物距离的公式

公式中,B 为相机左右镜头间距,f 为相机焦距,d 为对应左右点的视差。

智能眼镜的 OCR 功能通过调用百度 OCR 的 API 实现。OCR 过程包括图像获取、降噪、二值化 (Binarizatoin)、文字区域提取、字符分割、字符识别、优化及音频输出。

在这里插入图片描述

图 7:OCR过程示意图

智能盲杖健康监测与环境感知

智能盲杖的主要功能之一是健康监测,因此在盲杖上集成了心率、体温等传感器和数据收集模组。为实现非接触测量,心率传感器使用光体积变化描记图法 (PPG, Photoplethysmography) 进行监测,体温传感器使用红外辐射进行监测。

在这里插入图片描述

图 8:智能盲杖的结构示意图

此外,为增强视障者对环境的感知,盲杖上还集成了温度、湿度和姿势传感器。姿势传感器由加速度计和陀螺仪组成,通过计算使用者的组合加速度 (ACLR),监测其是否有跌倒的风险。

如果使用者距离障碍物过近,或是姿势传感器察觉到使用者可能会跌倒,盲杖将通过震动和蜂鸣器发出警报。

在这里插入图片描述

图 9:用于跌倒监测的 3 维坐标系

实验结果

图像识别物体与距离

研究人员在常见室内外环境中对设备的物体识别能力进行了 20 次测试。结果显示,室内外环境下 YOLO v5 算法均能比较准确地识别出环境中的物体,并对物体与使用者之间的距离作出判断。

在这里插入图片描述

图 10:室内环境下的测试结果

在这里插入图片描述

图 11:室外环境下的测试结果

然而,随着图像中物体数量增加,错误率会随之提高,尤其是对于具有相似特征的物体,比如电视与显示器,或是自行车与摩托车等。最终,智能眼镜的识别准确率为 92.16%。

即使 YOLO v5 算法认错了物体,它依然能对距离作出判断。与商用的 APP 相比,YOLO v5 算法判断距离的偏离率在 0.28-6.32% 之间,随着距离的增加而增加。

基于这一判断,当使用者与物体之间的距离小于 0.7 m 时,智能盲杖会发出警报,同时接管微控制器以避开障碍物。

OCR正确率接近 100%

同时,研究人员用 10 段文本测试了智能眼镜的 OCR 性能。测试状态下,智能眼镜的 OCR 正确率为 100%。虽然阅读过程中头部移动会导致些许识别错误,但整体 OCR 正确率仍有 99.91%。

在这里插入图片描述

图 12:智能眼镜的 OCR 结果

健康监测:心率与体温

心率监测模组通过 PPG 对用户的心率进行实时记录。测试中,智能盲杖分别记录了不同年龄的被试在静止和行走状态下的心率,结果与商用手环的偏离率在 0.72-3.52% 之间

在这里插入图片描述

表 1:不同实验组的心率监测结果

体温测试中,与医用的前额温度计相比,测试模组的最大偏离率为 0.19% 。这一结果说明即使在智能盲杖上,红外体温传感器也能够准确监测使用者体温,不会受到环境的干扰。
在这里插入图片描述

表 2:不同实验组的体温监测结果

姿势监测行走、上楼与下楼

智能盲杖可以通过加速度计和陀螺仪对使用者的姿势进行监测,并在可能跌倒时发出警报。实验测试了使用者在行走、上楼与下楼时盲杖的监测结果, 并将结果分为 3 类:

1、正确:盲杖监测的结果和使用者状态一致;

2、不正确:盲杖监测到了跌倒风险,但使用者仍为正常状态;

3、无响应:盲杖显示正常状态,但使用者有跌倒风险。

在这里插入图片描述

表 3:不同实验条件下的跌倒监测准确率

在不同场景下,智能盲杖的平均监测正确率为 87.33% ,说明这一设备可以在多数情况下对使用者的状态作出正确判断。

万物互联APP + 蓝牙

最终,所有数据会传输到手机上,并通过 APP 整合。同时,蓝牙音频会将这些数据播报给使用者,帮助他们了解自己的健康状态和外部环境。

在这里插入图片描述

图 13:集成的 APP 界面

关注普遍的眼健康

虽然无障碍设施正在多个场景不断普及,但这些设备更多针对行动不便的人群。对于身处黑暗的视障人群而言,他们需要更多的无障碍设施。

但由于 群体小、设施成本高,这些设施很难普及。盲道、盲文等便利视障人群的设施,则会因缺乏维护和管理,无法发挥效用。

然而,已有相当多的个人和企业参与到了帮助视障人群的行动中。目前绝大多数主流手机品牌已经有了专为视障人群设计的操作方式。

在北京、昆明等城市,开设了专为视障人群讲述电影的「心目影院」,帮助视障人群观赏院线大片。

在「我的世界」、「炉石传说」等游戏社区中,也有热心玩家开发了无障碍的模组 (Mod) 帮助改善视障人群的游戏体验。

在这里插入图片描述

图 14:「心目影院」中的盲人观众

2023 年 6 月 6 日是第 28 个全国爱眼日,主题为「关注普遍的眼健康」。今天是第 23 个世界视力日,希望大家能够关注视力健康,同时向身边的视障人群贡献一臂之力,与 AI 携手构建无障碍世界。

参考链接:

[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision

[2]https://bjo.bmj.com/content/96/5/614.short

[3]https://www.bilibili.com/video/BV1fs4y1K7Q7

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/105952.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【传输层协议】UDP/TCP结构特点与原理(详解)

文章目录 1. UDP1.1 UDP结构1.2 UDP特点1. 无连接2. 不可靠3. 面向数据报4. 缓冲区5. 大小受限6. 无序性 2. TCP2.1 TCP结构2.2 TCP特点1. 有连接2. 可靠性3. 面向字节流4. 拥塞控制5. 头部开销 2.3 TCP原理1. 确认应答(安全机制)2. 超时重传&#xff08…

爬虫 | 基础模块了解

文章目录 📚http协议📚requests模块📚re模块🐇 re.I 或 re.IGNORECASE🐇re.M或 re.MULTILINE🐇re.S 或 re.DOTALL🐇 re.A 或 re.ASCII🐇 re.X 或 re.VERBOSE🐇特殊字符类…

攻防世界数据逆向 2023

https://adworld.xctf.org.cn/contest/list?rwNmOdr1697354606875 目录 请求数据参数加密 cookie加密 响应数据解密 代码 请求数据参数加密 我们可以根据请求的关键字qmze1yzvhyzcyyjr获取到对应的加密地方 可以看到使用了函数_0x1dc70进行了加密 cookie加密 该步骤需…

SpringBoot面试题4:Spring Boot 支持哪些日志框架?推荐和默认的日志框架是哪个?

该文章专注于面试,面试只要回答关键点即可,不需要对框架有非常深入的回答,如果你想应付面试,是足够了,抓住关键点 面试官:Spring Boot 支持哪些日志框架?推荐和默认的日志框架是哪个? Spring Boot支持多种日志框架,包括以下几种: Logback:Logback 是一个快速、灵活…

面试总结(mysql定精度/oom排查/spring三级缓存/stream流)

Mysql数据类型上的一个把握 1、MySQL Decimal为什么不会丢失精度 DECIMAL的存储方式和其他数据类型都不同,它是以字符串形式存储的。假设一个字段为DECIMAL(3,0),当我们存入100时,实际上存入的1、0、0这三个字符拼接而成的字符串的二进制值&…

物联网AI MicroPython传感器学习 之 TDS水质检测传感器

学物联网,来万物简单IoT物联网!! 一、产品简介 TDS是Total Dissolved Solids的缩写,中文名总溶解固体,也叫溶解性固体总量,他标识1升水中溶有多少毫克的可溶解性固体。一般来说,TDS值越高&…

react中利用useRef、forwardRef、useImperativeHandle获取并处理dom

React如何给组件设置ref属性&#xff0c;如果直接绑给组件&#xff0c;代码如下&#xff1a; import { useRef } from "react"function MyInput() {return (<input type"text"/>) }function App() {const myRef useRef(null)const handleClick ()…

电脑上播放4K视频需要具备哪些条件?

在电视上播放 4K&#xff08; 4096 2160 像素&#xff09;视频是很简单的&#xff0c;但在电脑设备上播放 4K 视频并不容易。相反&#xff0c;它们有自己必须满足的硬件要求。 如果不满足要求&#xff0c;在电脑上打开 4K 分辨率文件或大型视频文件会导致卡顿、音频滞后以及更…

HTTP/2 中的漏洞

另一个热门漏洞是 CVE-2023-44487。 该漏洞与 HTTP/2 协议实施中的一个缺陷有关&#xff0c;可用于实施 DDoS 攻击。使用该漏洞的攻击被命名为 HTTP/2 快速重置。 为什么它很危险 要利用该漏洞&#xff0c;攻击者需要在 HTTP/2 会话中打开大量请求&#xff0c;然后在不等待服…

mysql面试题49:MySQL中不同text数据类型的最大长度

该文章专注于面试&#xff0c;面试只要回答关键点即可&#xff0c;不需要对框架有非常深入的回答&#xff0c;如果你想应付面试&#xff0c;是足够了&#xff0c;抓住关键点 面试官&#xff1a;MySQL中TEXT数据类型的最大长度 在MySQL中&#xff0c;TEXT数据类型用于存储较大…

电脑提示Explorer.exe系统错误该怎么办?

平时我们在使用电脑时&#xff0c;系统有时会提示Explorer.exe系统错误&#xff0c;很多用户在遇到这类问题时不知道该怎么办。遇到Explorer.exe系统错误&#xff0c;该怎么办呢&#xff1f;下面我们一起来了解一下。 怎么修复Explorer.exe系统错误&#xff1f; Explorer.exe是…

LangChain-Decorators 包学习

libraryIO的链接&#xff1a;https://libraries.io/pypi/langchain-decorators 来colab玩玩它的demo 感觉这确实是个挺好用的库 想到之前纯调prompt来控制输出格式的痛苦&#xff0c;这个可太有效了 cool~ 最下面这个react的多智能体例子很好玩&#xff0c;来看看&…

The SDK location is inside Studio install location 解决

The SDK location is inside Studio install location 解决 安装 Android Studio SDK 时提示&#xff1a;The SDK location is inside Studio install location 解决 问题&#xff1a; 由于 SDK 与 编辑器(Android Studio)的安装在同一目录下所以报错。 解决 你需要在 Andro…

第三节:利用运行按钮运行VBA代码

《VBA之Excel应用》&#xff08;10178983&#xff09;是非常经典的&#xff0c;是我推出的第七套教程&#xff0c;定位于初级&#xff0c;目前是第一版修订。这套教程从简单的录制宏开始讲解&#xff0c;一直到窗体的搭建&#xff0c;内容丰富&#xff0c;实例众多。大家可以非…

leetcode-198.打家劫舍

1. 题目 2. 解答 dp[i]表示第i个位置的偷窃最大金额&#xff1b; room[i]表示第i间房间的现金&#xff1b; dp[0] room[0]; dp[1] max(room[0], room[1]); dp[i] max(dp[i-1], dp[i-2] room[i]); #include <stdio.h>int max(int a, int b) {return a > b? a:b;…

高校教务系统登录页面JS分析——重庆交通大学

高校教务系统密码加密逻辑及JS逆向 本文将介绍高校教务系统的密码加密逻辑以及使用JavaScript进行逆向分析的过程。通过本文&#xff0c;你将了解到密码加密的基本概念、常用加密算法以及如何通过逆向分析来破解密码。 本文仅供交流学习&#xff0c;勿用于非法用途。 一、密码加…

Neo4j入门基础:CREATE,DELETE,SET,REMOVE(看不懂我直接吃...)

1. 创建节点 1.1 创建一个节点 create (s:student1)创建一个标签为student1的节点 1.2 创建多个节点 create (s2:student2),(s3:student3)同时创建两个节点&#xff0c;标签分别为&#xff1a;student2&#xff0c;student3 1.3 创建节点并附带&#xff08;多个&#xff0…

【部署】Linux Shell脚本部署java程序 (jar包)

文章目录 前言 前言 #!/usr/bin/env bash #可变参数变量#部署磁盘路径 baseDirPath/data/apps/java/smj-exchange-upload #jar包名称 packageNamesmj-exchange-upload.jar #命令启动包名 xx.jar的xxpid #进程pid#检测pid getPid(){echo "检测状态-----------------------…

当想为SLB申请公网域名时,缩写是什么意思

SLB的缩写是Server Load Balancer&#xff0c;即服务器负载均衡器。 是一种内网吗? 不&#xff0c;SLB&#xff08;Server Load Balancer&#xff09;是一种位于应用程序和网络之间的设备或服务&#xff0c;用于在多个服务器之间分发流量、负载均衡以及提供高可用性。它通常…

教你快速解决unity无法添加脚本bug

原因一 就是报错的字面意思&#xff0c;文件名与类名不一致&#xff01; 原因二 与版本不兼容的汉化导致系统出错&#xff01; 解决办法一 使用原版本自带的英文显示 解决办法二 更换汉化包 我其实更加推荐使用英文版本的Unity&#xff01;