【Intel oneAPI实战】使用英特尔套件解决杂草-农作物检测分类的视觉问题

目录

  • 一、简介：计算机视觉挑战——检测并清除杂草
  • 二、基于YOLO的杂草-农作物检测分类
    • 2.1、YOLO简介
    • 2.2、基于YOLO的杂草-农作物检测分类解决方案
  • 三、基于YOLO的杂草-农作物检测分类系统设计
    • 3.1、基于flask框架的demo应用程序后端
    • 3.2、基于Vue框架的demo应用程序前端
  • 四、Intel oneAPI工具包使用
  • 五、后续待完善的部分

科技是人类历史发展最具革命性的关键力量，而科技创新将是赢得未来发展主动权的必然选择。

如今，新一轮科技革命和产业革命正蓬勃兴起。它不再是单一科学领域、技术领域的突破，而是在信息技术、人工智能、新能源、新材料、生物医药等多领域、多赛道竞相迸发。

在这里插入图片描述

前段时间，我荣幸参加了英特尔和C站官方联合举办的[oneAPI的人工智能黑客松活动，并且第一次使用英特尔的官方套件来解决了杂草-农作物检测分类的问题，本篇博客将分享下解决方案和心得体会。

一、简介：计算机视觉挑战——检测并清除杂草

在这里插入图片描述

杂草是农业经营中不受欢迎的入侵者，它们通过窃取营养、水、土地和其他关键资源来破坏种植，这些入侵者会导致产量下降和资源部署效率低下。一种已知的方法是使用杀虫剂来清除杂草，但杀虫剂会给人类带来健康风险。

参赛者需运用英特尔® oneAPI AI分析工具包构建一个模型。该模型可以自动检测杂草的存在，并在杂草上而不是在作物上喷洒农药，同时使用针对性的修复技术将其从田地中清除，从而最小化杂草对环境的负面影响。

二、基于YOLO的杂草-农作物检测分类

2.1、YOLO简介

YOLO是一种基于深度学习的目标检测算法，全称是you only look once，指只需要浏览一次就可以识别出图中的物体的类别和位置。由Joseph Redmon等人于2016年提出。相比于传统的目标检测算法，如RCNN、Fast RCNN、Faster RCNN等，YOLO算法具有更快的检测速度和更高的准确率，因此在目标检测领域得到了广泛的应用。
在这里插入图片描述

因为只需要看一次，YOLO被称为Region-free方法，相比于Region-based方法，YOLO不需要提前找到可能存在目标的Region。

也就是说，一个典型的Region-base方法的流程是这样的：先通过计算机图形学（或者深度学习）的方法，对图片进行分析，找出若干个可能存在物体的区域，将这些区域裁剪下来，放入一个图片分类器中，由分类器分类。

YOLO算法的核心思想是将目标检测问题转化为一个回归问题，即通过一个神经网络直接预测目标的类别和位置。具体来说，YOLO算法将输入图像分成S×S个网格，每个网格预测B个边界框和每个边界框的置信度和类别概率。在预测时，YOLO算法将每个边界框的置信度和类别概率相乘，得到每个边界框的最终得分，然后根据得分进行非极大值抑制，得到最终的目标检测结果。

YOLO算法的优点在于它可以在一个神经网络中同时完成目标检测和分类，而且检测速度非常快，可以达到实时检测的要求。此外，YOLO算法还可以处理多个目标的检测，而且对于小目标的检测效果也比较好。

2.2、基于YOLO的杂草-农作物检测分类解决方案

基于YOLO，可以设计一种杂草-农作物的分类解决方案，具体来说，基于YOLO的杂草-农作物分类解决方案包括以下几个步骤：

  1. 数据采集和处理。首先，需要采集大量的杂草和农作物的图像数据，并对这些数据进行处理和标注，以便后续的模型训练和测试。
  2. 模型训练和测试。在进行杂草-农作物的分类时，需要使用YOLO算法来训练分类模型，并对模型进行测试和评估，以确定其准确率和鲁棒性。
  3. 应用和优化。在进行杂草-农作物的分类时，需要将训练好的模型应用到实际场景中，并优化精度和速度。

数据采集部分：赛道主办方已经为我们准备好了杂草-农作物数据集：https://filerepo.idzcn.com/hack2023/Weed_Detection5a431d7.zip

每张图片还包括一个指示类别和标记框的txt，其中第一个数值表示分类，0表示农作物，1表示杂草，如下所示：

在这里插入图片描述
在这里插入图片描述

模型的训练部分：我们参考ravirajsinh45大佬的代码作为baseline，这是一个深度学习模型Darknet，其中包含了多个卷积层、上采样层、shortcut层、route层和yolo层。其中，卷积层用于提取特征，上采样层用于将特征图的尺寸扩大，shortcut层用于实现跨层连接，route层用于将多个层的特征图拼接在一起，yolo层用于目标检测。模型的前向传播过程中，根据不同的层类型，对输入进行相应的处理，最终输出目标检测结果。模型的参数可以通过load_weights函数加载预训练的权重。

将赛题方提供的数据集导入其中，并进行简单配置，进行训练。

应用和优化：在训练成功后，我们将模型使用后端flask框架部署到服务器中，并写一个前端demo部署到客户端，模拟实际应用场景。

三、基于YOLO的杂草-农作物检测分类系统设计

3.1、基于flask框架的demo应用程序后端

后台需要设计两种功能，一种是上传图片，一种是分析图片

  • /upload：用于上传文件，接收 POST 请求，从请求中获取上传的文件，保存到服务器的 upload 目录下，并返回上传成功的信息。
  • /analyze：用于分析上传的图片，接收 POST 请求，调用 detection 函数（detection函数为调用之前训练好的模型）对上传的图片进行分析，将结果保存为 PNG 图像，并将 PNG 图像转换为 Base64 编码，最后将分析结果和 Base64 编码作为 JSON 格式的响应返回给客户端。

在 if __name__ == '__main__': 语句中，使用 app.run() 启动 Flask 应用程序，监听本地的 3031 端口，等待客户端的请求。

将其设计如下：

@app.route('/upload', methods=['POST'])
def upload():# 获取上传的文件if 'file' not in request.files:return '请选择文件'file = request.files['file']# 保存文件file.save('upload/'+'image.jpeg')# 返回成功信息return '文件上传成功'@app.route('/analyze', methods=['POST'])
def analyze():res_cls_name, res_cls_conf = detection('upload/image.jpeg')# 打开结果PNG图像with open('result.png', 'rb') as f:image_data = f.read()# 将PNG图像转换为Base64编码base64_data = base64.b64encode(image_data).decode('utf-8')print(res_cls_name)print(res_cls_conf)response = {'message': 'File uploaded successfully','res_cls_name': res_cls_name,'res_cls_conf': str(res_cls_conf.item()),'base64_data' : base64_data}return json.dumps(response), 200if __name__ == '__main__':app.run(host='0.0.0.0', port=3031)

3.2、基于Vue框架的demo应用程序前端

构建一个基于 Vue.js 框架的前端页面，使用 Element Plus 组件库中的 el-upload 组件进行图片上传，分析结果会显示在页面的下侧，包括图片的分类名称、可信度和图片本身。其中，分类名称和可信度是通过调用后端 API 获取的，图片则是通过将后端返回的 Base64 编码转换为图片显示出来的，运行效果如下
：
在这里插入图片描述

运行效果：

运行后：

在这里插入图片描述

部分核心代码如下：

<template><div class="content-main"><h1>Crop And Weed Detection</h1><el-uploadref="upload"class="upload-demo"action="/api/upload":on-preview="handlePreview":on-remove="handleRemove":on-exceed="handleExceed"list-type="picture":limit=1><template #trigger><el-button type="primary">select file</el-button></template><!-- <el-button type="primary">Click to upload</el-button> --><el-button type="success" :onclick="analyze">Click to Analyze</el-button><template #tip><div class="el-upload__tip">Only one image with a size less than 500kb can be uploaded at a time.</div><div class="el-upload__tip">Click to Analyze and wait for a while.</div></template></el-upload></div><div class="content-result"><div><h1>判断结果</h1></div><div><p>{{ "该图像为：" + classname }}</p></div><div><p>{{ "可信度为：" + classconf }}</p></div><el-image style="width: 600px" :src="'data:image/png;base64,'+ classurl"/></div></template><script lang="ts" setup>
import { ref } from 'vue'
import { analyzeApi } from '../api/analyzeApi';
import { genFileId } from 'element-plus'
import type { UploadInstance, UploadProps, UploadRawFile } from 'element-plus'const upload = ref<UploadInstance>()let classname = ref("Waiting Analyze");
let classconf = ref("Waiting Analyze");
let classurl = ref();const handleRemove: UploadProps['onRemove'] = (uploadFile, uploadFiles) => {console.log(uploadFile, uploadFiles)classname.value = "Waiting Analyze";classconf.value = "Waiting Analyze";classurl.value = "";}
const handleExceed: UploadProps['onExceed'] = (files) => {upload.value!.clearFiles()const file = files[0] as UploadRawFilefile.uid = genFileId()upload.value!.handleStart(file)upload.value!.submit()classname.value = "Waiting Analyze";classconf.value = "Waiting Analyze";classurl.value = "";
}
const handlePreview: UploadProps['onPreview'] = (file) => {console.log(file)
}const analyze = (): number => {analyzeApi().then(function (result) {console.log(result.data);classname.value = result.data.res_cls_name;classconf.value = result.data.res_cls_conf;classurl.value = result.data.base64_data;});return 0;
} 
</script>

四、Intel oneAPI工具包使用

在算法实现过程中，我们使用到了oneAPI工具包，
在这里插入图片描述

英特尔相关软件具体使用如下：

  • Intel Optimization for PyTorch：使用到了英特尔优化过的PyTorch深度学习框架，以最少的代码更改应用 PyTorch 中尚未应用的最新性能优化，并自动混合 float32 和 bfloat16 之间的运算符数据类型精度，以减少计算工作量和模型大小。
  • Interl Nerual Compressor：使用Nerual Compressor自动执行流行的模型压缩技术，例如跨多个深度学习框架的量化、修剪和知识蒸馏。并通过自动精度驱动的调优策略快速收敛量化模型

在这里插入图片描述
检测部分的代码如下：

import torch
import torch.nn as nn
import intel_extension_for_pytorch as ipex
import numpy as np
import cv2# 设置设备为GPU
device = torch.device("gpu")# 使用 Intel PyTorch 扩展库优化模型
ipex.enable_auto_dnnl()# 加载 YOLO 模型
model = ...  # YOLO 模型的加载代码，此处省略
model = model.to(device)
model.eval()# 定义 COCO 类别标签
classes = [...]  # ，此处省略# 加载图像
image_path = "test.jpg"  # 替换为自己的图像路径
image = cv2.imread(image_path)# 预处理图像
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
image = cv2.resize(image, (416, 416))
image = np.transpose(image, (2, 0, 1))
image = image.astype(np.float32) / 255.0
image = torch.from_numpy(image).unsqueeze(0).to(device)# 执行目标检测
with torch.no_grad():detections = model(image)# 后处理检测结果
# 此处省略

模型优化部分代码：

from neural_compressor.experimental import Quantization
quantizer = Quantization("./conf.yaml")
quantizer.model = model
quantizer.calib_dataloader = test_loader
quantizer.eval_dataloader = test_loader
q_model = quantizer()
q_model.save('./output')

在其中，Intel PyTorch 扩展库被用于优化模型的性能，通过ipex.enable_auto_dnnl()导入 Intel PyTorch 扩展库并启用了自动 DNNL（Deep Neural Network Library）优化可以帮助我们更高效地进行深度学习模型的训练和推理，提高模型的性能和效率。 Intel Neural Compressor 被使用来对模型进行量化，减小模型的大小并提高在低功耗设备上的推理速度，同时保持相对较高的准确率

同时，也可以帮助我们减少模型的大小和计算工作量，从而更好地适应不同的硬件和场景需求。

五、后续待完善的部分

系统集成：原型中只实现了模型训练和测试的基本功能，未能实现完整的系统集成。计划通过系统集成技术，将模型集成到完整的杂草检测系统中，实现端到端的杂草检测功能。

模型优化：原型中使用的模型精度和推理速度还有提升空间。计划继续深入学习Interl Optimization for PyTorch，优化模型计算工作量和模型大小，并继续深入学习Interl Nerual Compressor提高在 CPU 或 GPU 上部署的深度学习推理的速度

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/709820.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Python的报错类型

Python的报错类型

在编写python代码时&#xff0c;当不当使用时&#xff0c;python会给出错误提示&#xff0c;常见的错误类型有如下几种&#xff1a; 1.TpyeError类型错误 ① 传入的参数数量不对&#xff1a;如调abs()有且仅有1个参数&#xff0c;但给出了两个时&#xff0c;python会给出提示…
阅读更多...
yolov9,使用自定义的数据训练推理

yolov9,使用自定义的数据训练推理

[源码 &#x1f40b;]( GitHub - WongKinYiu/yolov9: Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information) [论文 &#x1f4d8;](arxiv.org/pdf/2402.13616.pdf) 论文摘要&#xff1a;本文介绍了一种新的目标检测…
阅读更多...
网络防御保护3

网络防御保护3

一、双击热备 1&#xff0c;根据网段划分配置IP地址和安全区域 2&#xff0c;配置双机热备场景 主备场景配置 抢占延时仅对主设备生效。 hello报文周期时间--- 默认为1S&#xff0c;可以修改&#xff0c;但是&#xff0c;主备设备需要同时修改为相同值。 同步配置 双机热备的…
阅读更多...
【C++】手把手教你手搓模拟实现string类

【C++】手把手教你手搓模拟实现string类

前言 string类一直都是C的经典问题&#xff0c;之前的文章已经对string类做了一个基本的介绍&#xff08;string类的基本常用接口&#xff09;&#xff0c;为了更好理解string类的功能&#xff0c;此篇文章将手把手教你带你手搓模拟实现string类&#xff0c;快来一起学习吧&am…
阅读更多...
预训练大模型LLM的PEFT之—— Prefix Tuning

预训练大模型LLM的PEFT之—— Prefix Tuning

简介 Prefix Tuning是2021.01提出来的&#xff0c;在它之前&#xff0c;我们使用prompt主要是人工设计模板或者自动化搜索模板&#xff0c;也就是prompt范式的第一阶段&#xff0c;就是在输入上加上prompt文本&#xff0c;再对输出进行映射。这种离散模板对模型的鲁棒性很差。…
阅读更多...
SpringBoot接收参数的几种形式

SpringBoot接收参数的几种形式

SpringBoot接收参数的几种形式 在SpringBoot中获取参数基本方式有5种,需要都掌握. 这里需要记住一个技术术语或概念 API接口: 你写好的那个URL地址,就被称为API接口 1. 接收常规参数 给/param/demo1这个URL接口发送id, name两个参数 以上是以GET请求类型进行发送,实际发送…
阅读更多...
Kubernetes IoTDB系列 | IoTDB数据库同步|IoTDB数据库高可用 | v1.3.0

Kubernetes IoTDB系列 | IoTDB数据库同步|IoTDB数据库高可用 | v1.3.0

目录 一、介绍二、应用场景三、IoTDB 数据库搭建四、数据同步一、介绍 IoTDB 数据同步功能可以将 IoTDB 的数据传输到另一个数据平台，我们将一个数据同步任务称为 Pipe。 一个 Pipe 包含三个子任务（插件）： 抽取（Extract）处理（Process）发送（Connect）Pipe 允许用户自…
阅读更多...
周鸿祎免费课演示AI新品，瞬时流量暴增现场增加服务器

周鸿祎免费课演示AI新品，瞬时流量暴增现场增加服务器

2月29日&#xff0c;360创始人周鸿祎首堂AI免费课开讲&#xff0c;吸引千万网友围观。演讲现场周鸿祎演示了两款AI驱动的新产品。在演示测试版360AI搜索时&#xff0c;由于用户体验火爆&#xff0c;瞬时流量暴增44倍&#xff0c;为满足用户和全网用户需求临时增加了服务器。产品…
阅读更多...
springboot+vue网站开发-渲染前端列表页面-缩略图信息

springboot+vue网站开发-渲染前端列表页面-缩略图信息

springbootvue网站开发-渲染前端列表页面-缩略图信息&#xff01;内容比较多。这是第一篇&#xff0c;先给大家展示的是&#xff0c;基础的代码封装&#xff0c;vue前端网站模块的代码展示。 我们使用到了pinia-存储我们请求过来的数据&#xff0c;它是一个状态管理&#xff0c…
阅读更多...
android开发平台，Java+性能优化+APP开发+NDK+跨平台技术

android开发平台，Java+性能优化+APP开发+NDK+跨平台技术

开头 通常作为一个Android APP开发者&#xff0c;我们并不关心Android的源代码实现&#xff0c;不过随着Android开发者越来越多&#xff0c;企业在筛选Android程序员时越来越看中一个程序员对于Android底层的理解和思考&#xff0c;这里的底层主要就是Android Framewok中各个组…
阅读更多...
linux文件及文件内容查找命令总结

linux文件及文件内容查找命令总结

在linux环境下&#xff0c;我们经常要查找一个文件或者文件的内容&#xff0c;但搜索的命令有很多&#xff0c;这些命令都有什么区别&#xff0c;应该怎么选择和使用呢&#xff1f; 下面总结了一些常见的文件查找、内容查找的命令&#xff0c;收藏起来备用吧。 文件查找 where…
阅读更多...
二叉树——二叉树所有路径

二叉树——二叉树所有路径

二叉树所有路径 给你一个二叉树的根节点 root &#xff0c;按 任意顺序 &#xff0c;返回所有从根节点到叶子节点的路径。 叶子节点 是指没有子节点的节点。 示例 1&#xff1a; 输入&#xff1a;root [1,2,3,null,5] 输出&#xff1a;["1->2->5","1-…
阅读更多...
华为云项目部署

华为云项目部署

前端部署 将dist文件夹下的内容拷贝到/usr/local/nginx/html下 #启动脚本是在 # /usr/local/nginx/sbin/nginx #启动 /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf #停止 /usr/local/nginx/sbin/nginx -s stop #重载 /usr/local/nginx/sbin/nginx -s rel…
阅读更多...
Go语言必知必会100问题-10 小心类型嵌入导致的问题

Go语言必知必会100问题-10 小心类型嵌入导致的问题

小心类型嵌入导致的问题 在定义结构体时&#xff0c;Go语言支持通过类型嵌入的形式定义结构体字段。但是&#xff0c;如果我们没有真正理解类型嵌入的意义&#xff0c;有时可能会导致意想不到的行为。本文将主要分析如何嵌入类型&#xff0c;类型嵌入的作用以及可能出现的问题…
阅读更多...
Linux之定时任务02

Linux之定时任务02

一、什么是crond Linux 中 crond 就是定时任务&#xff0c;即根据 crond 指定的时间&#xff0c;由系统按指定的时间&#xff0c;周期性&#xff0c;自动触发的事件。 crond 服务在默认的情况下会每分钟检查系统中是否有定时任务&#xff0c;如果有且符合触发条件&#xff0c;…
阅读更多...
vue前端使用get方式获取api接口数据 亲测

vue前端使用get方式获取api接口数据 亲测

// GET请求示例 axios.get(‘http://127.0.0.1:5005/ReadIDCardInfo’) // 将URL替换为真正的API接口地址 .then(response > { if(response.data.code1){ var jsonDataresponse.data.data; console.log(jsonData); // 输出从API接口返回的数据 } }) .catch(error > { con…
阅读更多...
MySQL(基础篇)——事务

MySQL(基础篇)——事务

一.事务简介 事务是一组操作的集合&#xff0c;他是一个不可分割的单位&#xff0c;事务会把所有的操作作色一个整体一起向系统提交或撤销操作请求&#xff0c;即这些操作要么同时成功&#xff0c;要么同时失败。 默认MySQL的事务是自动提交的&#xff0c;也就是说&#xff0c…
阅读更多...
VS Code常用快捷键

VS Code常用快捷键

前言 对于开发者而言&#xff0c;熟悉快捷键的使用&#xff0c;能够起到事半功倍的作用&#xff0c;提高工作效率。以下是我整理的一份VS Code常用快捷键清单&#xff0c;希望能够帮助到你&#xff0c;欢迎在评论区留下你的常用快捷键&#x1f91e;。 设置VS Code中的键盘快捷…
阅读更多...
抖音视频评论提取软件|视频数据批量采集工具

抖音视频评论提取软件|视频数据批量采集工具

抖音视频评论批量下载软件是一款基于C#开发的高效工具&#xff0c;旨在帮助用户快速获取抖音视频评论数据。无论您是市场分析师、社交媒体管理者还是数据研究人员&#xff0c;这款软件都会成为您工作中不可或缺的利器。 软件的关键功能包括&#xff1a; 关键词搜索&#xff1…
阅读更多...
AI智能电销机器人效果怎么样？呼叫部署

AI智能电销机器人效果怎么样？呼叫部署

我们的生活早已变得无处不智能&#xff0c;从智能手机到无人车、虚拟VR到智能家居&#xff0c;你迎接的每一个清晨、享受的每一个夜晚&#xff0c;可能都离不开智能设备的服务。 工作中&#xff0c;智能化产业也正在影响着企业&#xff0c;电销机器人正在帮助各大企业获得更高的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023