【机器学习】TinyML的介绍以及在运动健康领域的应用

🧑 作者简介：阿里巴巴嵌入式技术专家，深耕嵌入式+人工智能领域，具备多年的嵌入式硬件产品研发管理经验。

📒 博客介绍：分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向的学习指导、简历面试辅导、技术架构设计优化、开发外包等服务，有需要可私信联系。

🗄️ 专栏介绍：本文归属于专栏《嵌入式解决方案》，专注嵌入式开发中的解决方案，持续更新中，欢迎大家免费订阅关注。

TinyML的介绍以及在运动健康领域的应用

  • 1. 机器学习是什么解决什么问题？
    • 1.1 机器学习是什么？
    • 1.2 解决什么问题？
    • 1.3 有什么解决方案？
  • 2. TinyML简介
    • 2.1 什么是TinyML
    • 2.2 TinyML优势和局限
      • 2.2.1 TinyML的优势
      • 2.2.2 TinyML的局限
    • 2.3 TinyML为什么可以做得很小
      • 2.3.1 Quantization(模型量化)
      • 2.3.2 Weight Pruning(权重稀疏)
      • 2.3.3 Knowledge Distillation (知识蒸馏)
    • 2.4 TinyML核心组件
  • 3. TinyML Workflow
    • 3.1 TinyML模型选择
    • 3.2 TinyML模型转换
    • 3.3 TinyML模型性能评估和优化
  • 4. TinyML应用场景
  • 5. TinyML在运动健康领域的实践
    • 5.1 运动健康领域的应用场景
    • 5.2 实践操作步骤
      • 5.2.1 运动数据/姿态数据采集
      • 5.2.2 运动模型训练
      • 5.2.3 模型训练结果分析
      • 5.2.4 TinyML在嵌入式芯片上的移植应用
  • 6. 总结

1. 机器学习是什么解决什么问题？

1.1 机器学习是什么？

  • 涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。
  • 深度学习是机器学习领域中的一个研究方向。

1.2 解决什么问题？

  • 分类问题：图像识别，分类，垃圾邮件识别等
  • 回归问题：根据数据样本的特征，预测一个连续值的结果，例如股票预测，销量预测，图像分割。
  • 聚类问题（无监督学习）：新闻分类

1.3 有什么解决方案？

  • DNN（Deep Neural Network）深度神经网络
  • CNN（Convolutional Neural Network）卷积神经网络，处理图像分类，特征提取
  • RNN(Recurrent Neural Network）循环神经网络，处理自然语言，语音数据，手势姿态等
    在这里插入图片描述

2. TinyML简介

2.1 什么是TinyML

在这里插入图片描述

随着深度学习技术的发展，已有数种深度学习框架，例如TensorFlow、Caffe、Caffe2、Theano、Torch、MXNet和CNTK，支持卷积神经网络、递归神经网络等模型结构。

其中，TensorFlow由Google Brain团队的研究员和工程师研发，已成为业界最受欢迎的机器学习项目。TensorFlow框架的优秀特性，主要包括：

  • 支持异构设备的分布式计算，可有效地利用机器资源进行模型训练。
  • 支持卷积、循环神经等网络结构，这些都是在计算机视觉、语音识别、自然语言处理方面最流行的深度神经网络。
  • 支持模型从研究团队到生产环境的快速迁移，构建起模型研究到生产使用的桥梁。
  • 支持移动端开发，及智能终端产品的嵌入式开发。
  • 具备出色的版本管理和详细的官方文档，模型众多，生态系统比较完备。

而TensorFlow Lite 是 TensorFlow 的轻量级版本，专为移动和嵌入式设备设计。它优化了模型的大小和运行效率，使得深度学习模型可以在资源有限的设备上运行，如智能手机、平板电脑和IoT设备。TFLite 允许开发者将训练好的TensorFlow模型转换为一个优化的格式，以便在这些设备上实时运行。

TinyML（Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers（基于Arduino和超低功耗微控制器的TensorFlow Lite机器学习））是指在极低功耗的微控制器和其他小型计算设备上运行的机器学习应用。这通常涉及到将已经训练好的机器学习模型压缩和优化，以使其适应更小的内存和处理能力。TinyML 的目标是在这些设备上实现AI功能，同时保持低能耗和低成本。虽然TinyML不是一个具体的产品或库，但TensorFlow Lite for Microcontrollers（一个TFLite的分支）是专门针对微控制器优化的，常被用在TinyML项目中。

2.2 TinyML优势和局限

2.2.1 TinyML的优势

在这里插入图片描述

  • 模型精简，低算力，低功耗
  • 数据不上云，本地处理，对数据隐私有保护作用
  • 数据本地处理，不上云，反应及时，低时延
  • 模型精简，模型体积比较小，适用大多数微处理器
  • 在保证模型体积小的基础上，能够满足精度需求

2.2.2 TinyML的局限

由于MCU性能有限，所以TinyML的应用领域、性能、效率方面相比TensorFlow是有一定局限性的，比如：

应用领域微控制器上的TinyML服务器上的TensorFlow
异常检测能，模型尺寸有限能，大模型
图像识别能，分辨率和实时性不强能，分辨率和实时性不强
语音识别仅能识别唤醒词/命令词全自然语言处理

2.3 TinyML为什么可以做得很小

TensorFlow为了能够运行到微控制上，主要做了下面3方面的优化：

  • Quantization 模型量化，减小模型体积，提高运行速度
  • Weight Pruning 剪枝，减少神经元，减少通道数
  • Knowledge Distillation 知识蒸馏，知识迁移

2.3.1 Quantization(模型量化)

在这里插入图片描述
模型量化即以较低的推理精度损失将连续取值（或者大量可能的离散取值）的浮点型模型权重或流经模型的张量数据定点近似（通常为int8）为有限多个（或较少的）离散值的过程，它是以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程，而模型的输入输出依然是浮点型，从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标。

主要目的：把float类型转化为int型，降低模型内存大小

量化参数： DEFAULT, OPTIMIZE_FOR_SIZE, OPTIMIZE_FOR_LATENCY

2.3.2 Weight Pruning(权重稀疏)

在这里插入图片描述
模型剪枝可以帮助使模型的表示更紧凑。从广义上讲，剪枝试图去除对输出预测没有多大用处的神经元。

这通常与较小的神经权重相关联，而较大的权重由于在推理过程中的重要性而保持不变。

然后在剪枝后的体系结构上重新训练网络，以微调输出。
主要手段：通道剪枝，神经元剪枝。

2.3.3 Knowledge Distillation (知识蒸馏)

在这里插入图片描述
“Teacher”是一个经过训练的神经网络模型。教师的任务是将其“知识”转移到参数较少的较小网络模型“student”。

该过程用于将相同的知识存储在较小的网络中，提供了一种压缩知识表示的方法，从而压缩了神经网络的大小，从而可以将其用于更多内存受限的设备上。

2.4 TinyML核心组件

在这里插入图片描述

  • Converter

    1. 将TF模型转化为TFLite模型
    2. 减少模型体积，保持模型精度。

  • Interpreter

    1. 支持多系统
    2. 透出标准API
    3. 解析TFLite模型

3. TinyML Workflow

在这里插入图片描述

3.1 TinyML模型选择

  • 预训练模型
    • 图像分类
    • 物体检测
    • 智能回复
    • 姿态估计
    • 语义分割
  • 重新训练模型
    • 迁移学习
    • 重新训练已有模型
  • 自训练模型
    • 自主化训练

3.2 TinyML模型转换

在这里插入图片描述

3.3 TinyML模型性能评估和优化

在这里插入图片描述

  • TinyML性能评估
    模型进行性能分析和基准测试。TensorFlow Lite 基准测试工具有内置的性能分析器，可展示每个算子的性能分析数据。这能帮助理解性能瓶颈，以及哪些算子占据了大部分计算时间。

  • TinyML模型优化
    Tensorflow提供了优化工具包，主要是通过模型量化，剪枝，聚类的方式进行优化。

4. TinyML应用场景

  • 语音识别类

    • 唤醒词/命令词识别：唤醒词训练和识别
    • 哭声检测：

  • 运动健康类

    • 运动检测：羽毛球，足球，游泳等运动模式检测
    • 健康监控：心率，血氧，呼吸统计，饮水提醒，久坐提醒
    • 疾病防治：监控血糖，自动释放胰岛素

  • 物体识别类

    • 物体识别：野生环境生物识别
    • 人脸识别：统计人流量

  • 农业，智慧城市

    • 精细化灌溉，施肥，病虫害防治，城市环境，空气质量监控等

5. TinyML在运动健康领域的实践

5.1 运动健康领域的应用场景

在这里插入图片描述

  • 健康监控
    识别低头，抬头，运动动作，并统计时间，对健康数据进行统计展示，为健康建议提供数据。
  • 久坐提醒
    统计久坐时长，统计时长，在1个小时时间内，低头时间超过40分钟，发送健康提醒。
  • 接听/挂断电话
    当电话接入时，收到广播，开始进行点头和摇头动作识别，识别导点头，接听电话，识别导摇头，挂断电话。
  • 运动健康训练
    识别点头，抬头，颈部左移动，颈部右移动动作。统计次数，完成运动指标。

5.2 实践操作步骤

在这里插入图片描述

5.2.1 运动数据/姿态数据采集

通过特定应用程序，在设备端数据采集，并保存为csv文件
在这里插入图片描述
在这里插入图片描述

5.2.2 运动模型训练

运动模型训练工具是在线训练，利用已有的训练模型，上传本地采集的数据进行训练。训练工具地址：https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/audio/simple_audio.ipynb
，数据训练集：
http://download.tensorflow.org/models/tflite/magic_wand/data.tar.gz。
在这里插入图片描述

5.2.3 模型训练结果分析

  • 训练结果符合预期
    在这里插入图片描述在这里插入图片描述

  • 训练结果不符合预期

在这里插入图片描述
在这里插入图片描述

5.2.4 TinyML在嵌入式芯片上的移植应用

  • 代码下载
    https://github.com/tensorflow/tflite-micro.git
    下载tflite-micro 仓库代码
  • 代码编译
    • Toolchain指定
      在cortex_m_generic_makefile.inc 中指定编译器的路径
    • 编译
      make -f tensorflow/lite/micro/tools/make/Makefile TARGET=cortex_m_generic TOOLCHAIN=gcc TARGET_ARCH=cortex-m33
    • 产物
      libtensorflow-microlite.a
  • 训练生成物
    20K大小的模型model.cc （xxd -i model.tflite > /content/model.cc）
  • 实际运行
    模型替换，代码添加到工程，调用入口函数，执行。

6. 总结

随着TinyML技术的不断演进和成熟，我们见证了其在运动健康领域中潜力的全面释放。通过在可穿戴设备和嵌入式系统中集成微型机器学习模型，运动健康应用能够在不牺牲精度和反应速度的前提下，实现更低的能耗和更高的可访问性。

随着技术的不断进步和创新，我们期待TinyML能够帮助更多的人实现健康管理的自我赋能，同时为运动健康产业带来更加智能化和个性化的服务。无疑，TinyML在推动健康科技进步的道路上，将扮演着越来越重要的角色。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/758196.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

将图像根据注释文件划分

将图像根据注释文件划分

import os import json import shutil# 完整图像文件夹路径 img_dir data\sodaa\datasets# 注释文件夹路径 train_ann_dir data\sodaa\Annotations\\train val_ann_dir data\sodaa\Annotations\\val test_ann_dir data\sodaa\Annotations\\test# 输出文件夹路径 output_dir…
阅读更多...
5465: 【搜索】奶牛干饭

5465: 【搜索】奶牛干饭

题目描述 农场主John把农场分为了一个 r 行 c 列的矩阵，并发现奶牛们无法通过其中一些区域。此刻，Bessie 位于坐标为 (1,1) 的区域，并想到坐标为 (r,c) 的牛棚享用晚餐。她知道，以她所在的区域为起点，每次移动至相邻的…
阅读更多...
全球盲盒火热下，海外盲盒APP助力我国盲盒出海

全球盲盒火热下，海外盲盒APP助力我国盲盒出海

盲盒具有不确定性，与各类热门影视动漫合作推出的专属盲盒商品，吸引了无数年轻人，成为了年轻人的娱乐消费首选方式。 在互联网电商的推动下，盲盒在全球内的市场规模迅速扩大。受到市场增长的影响，各类资本公司也纷纷进…
阅读更多...
【Python多线程】的进阶讲解

【Python多线程】的进阶讲解

Python多线程 1. 前言2. threading 模块的基本用法3. Thread类4. 锁（Locks）5. 守护线程（Daemon Threads）6. 运用场景7. 弊端 1. 前言 Python中的多线程通过threading模块来实现，它允许你并发执行多个线程，…
阅读更多...
深入浅出前端本地储存(1)

深入浅出前端本地储存(1)

引言 2021 年，如果你的前端应用，需要在浏览器上保存数据，有三个主流方案： CookieWeb Storage (LocalStorage)IndexedDB 这些方案就是如今应用最广、浏览器兼容性最高的三种前端储存方案 今天这篇文章就聊一聊这三种方案的历史…
阅读更多...
基于python的4s店客户管理系统

基于python的4s店客户管理系统

技术：pythonmysqlvue 一、背景 进入21世纪网络和计算机得到了飞速发展，并和生活进行了紧密的结合。目前，网络的运行速度以达到了千兆，覆盖范围更是深入到生活中的角角落落。这就促使管理系统的发展。网上办公可以实现远程处理事务…
阅读更多...
pyvista可视化代码优化

pyvista可视化代码优化

同时显示多组点云 import os import glob import randomimport pyvista as pvdef display_multi_mesh(meshes: list, titlesNone, point_size3, opacity0.9):num len(meshes)pl pv.Plotter(shape(1, num))pl.set_background([0.9, 0.9, 0.9])for i in range(num):pl.subplo…
阅读更多...
jmeter打开文件报异常无法打开

jmeter打开文件报异常无法打开

1、问题现象： 报错部分内容： java.desktop does not export sun.awt.shell to unnamed module 0x78047b92 [in thread "AWT-EventQueue-0"] 报错部分内容： kg.apc.jmeter.reporters.LoadosophiaUploaderGui java.lang.reflect.Invo…
阅读更多...
feign设置超时时间

feign设置超时时间

feign设置超时时间 feign的 本质是 调用 http请求，如果不设置超时时间，请求长时间连接着，占用系统资源，影响用户体验。 feign设置超时时间，可以通过 Request.Options 来设置。 FeignClientFactoryBean ：…
阅读更多...
docker小白第十四天之Portainer与CIG

docker小白第十四天之Portainer与CIG

Portainer简介 Portainer是一款轻量级的应用，它提供了图形化界面，用于方便地管理Docker环境，包括单机环境和集群环境。 Portainer命令安装 # 一个容器可以同时起多个-p端口，restartalways表示随时在线，重启机器后也…
阅读更多...
5 Redis主从集群

5 Redis主从集群

文章目录 Redis主从集群1.1主从集群搭建1.1.1 伪集群搭建与配置1.1.2 分级管理1.1.3 容灾冷处理 1.2主从复制原理1.2.1 主从复制过程1.2.2 数据同步演变过程 2.1 哨兵机制实现2.1.1 简介2.2.2 Redis 高可用集群搭建2.2.3 Redis 高可用集群的启动2.2.4 Sentinel 优化配置 3.1 哨…
阅读更多...
Java数组新手冷知识

Java数组新手冷知识

J a v a Java Java 中，数组是对象，当你将一个数组传递给方法时，你其实是传递了数组的引用（地址），而不是数组的副本。因此，在 m m m 方法中修改了数组 n n n 的内容后，这种改变在方…
阅读更多...
算法笔记p414拓扑排序

算法笔记p414拓扑排序

目录 有向无环图拓扑排序求拓扑排序步骤代码实现 例题 有向无环图 如果一个有向图的任意顶点都无法通过一些有向边回到自身，那么称这个有向图为有向无环图（DirectedAcyclic Graph，DAG）。 拓扑排序 拓扑排序是将有向无环图G的所…
阅读更多...
数字化转型急迫推进，效益提升却难见明显成效！

数字化转型急迫推进，效益提升却难见明显成效！

数字化现已不再是一种选择，而是企业适应市场环境、保持竞争力的必然要求。但是，企业在投入大量人力、物力进行数字化转型后，却常常面临效益不明显的问题，这种现象值得我们深入剖析与探讨。 我们需要明白数字化转型并非简单地购置先…
阅读更多...
【知识简略】说说分布式常见问题及解决方案：分布式锁、分布式事务、分布式session、分布式任务调度；

【知识简略】说说分布式常见问题及解决方案：分布式锁、分布式事务、分布式session、分布式任务调度；

分布式常见问题及解决方案 前言什么是分布式系统分布式系统与微服务两者概念傻傻分不清 1.分布式锁分布式事务分布式Session分布式任务调度 前言 什么是分布式系统 分布式系统(Distributed System)是指由多个独立计算机通过网络通信协议连接起来协同工作，共同完成一…
阅读更多...
【Java】POI解析excel

【Java】POI解析excel

一、相关介绍 POI技术 Apache POI是Apache软件基金会的开放源码函式库&#xff0c;POI提供API给Java程序对Microsoft Office格式档案读和写的功能。 poi-ooxml能解析xls&#xff0c;xlsx。 poi能解析word、ppt、excel、xml等office软件 导入坐标&#xff1a; <depende…
阅读更多...
如何使用ArkUI从0-1写一个开发购物应用程序（下）

如何使用ArkUI从0-1写一个开发购物应用程序（下）

接下来我们继续学习如何用ArkUI来开发一个购物应用程序&#xff08;下半部分&#xff09; 底部组件是由一个横向的图片列表组成&#xff0c;iconPath是底部初始状态下的3张图片路径数组。遍历iconPath数组&#xff0c;使用Image组件设置图片路径并添加到List中&#xff0c;给每…
阅读更多...
【RabbitMQ】【Docker】基于docker-compose构建rabbitmq容器

【RabbitMQ】【Docker】基于docker-compose构建rabbitmq容器

本文通过docker-compose构建一个单体的rabbtimq容器。 1&#xff0c;docker、docker-compose环境 首先需要有docker和docker-compose环境&#xff0c;docker安装[1]&#xff0c;docker-compose安装[2]。 通过下列命令确定docker、docker-compose是否安装成功。 [root192 ge…
阅读更多...
【大屏设计】如何进行软件系统网站大屏页面设计？不限于智慧城市、物联网、电商、园区领域

【大屏设计】如何进行软件系统网站大屏页面设计？不限于智慧城市、物联网、电商、园区领域

【大屏设计】如何进行软件系统网站大屏页面设计&#xff1f;不限于智慧城市、物联网、电商、园区领域 一、什么是网站大屏设计二、网站大屏设计原型素材三、网站大屏设计设计素材四、他山之石 一、什么是网站大屏设计 网站大屏设计是网站设计中至关重要的一部分&#xff0c;因…
阅读更多...
Ubuntu介绍

Ubuntu介绍

Ubuntu&#xff0c;这个源自南非祖鲁语和科萨语的词汇&#xff0c;意为“人类之间的仁慈和善良”。在计算机领域&#xff0c;Ubuntu已经成为了一个广为人知的开源操作系统&#xff0c;它以其易用性、稳定性和强大的社区支持而闻名于世。Ubuntu不仅仅是一个操作系统&#xff0c;…
阅读更多...
最新文章

Copyright @ 2022~2023