基于 OpenVINO, yolov5 推理

在这里插入图片描述

OpenVINO 是英特尔开发的一款功能强大的深度学习工具包，可实现跨多个硬件平台的优化神经网络推理。在本文中，我们讨论了 OpenVINO 的特性和优势，以及它如何与领先的计算机视觉平台 Viso Suite 集成，以构建和交付可扩展的应用程序。

​🇶🇦 什么是 OpenVINO？

OpenVINO 是英特尔开发的跨平台深度学习工具包。该名称代表“开放式视觉推理和神经网络优化”。OpenVINO 专注于通过面向英特尔硬件平台的一次写入、随处部署的方法优化神经网络推理。

该工具包在 Apache License 2.0 版下免费使用，有两个版本：

● OpenVINO 工具包，由开源社区支持
● Intel Distribution of OpenVINO toolkit，由 Intel 支持。

使用 OpenVINO 工具包，软件开发人员可以通过与应用逻辑集成的高级 C++ 推理引擎 API选择模型并部署预训练的深度学习模型（YOLO v3、ResNet 50等）。

因此，OpenVINO 提供集成功能来加快应用程序和解决方案的开发，这些应用程序和解决方案使用计算机视觉、自动语音识别、自然语言处理(NLP)、推荐系统、机器学习等解决多项任务。

🚢 安装 OpenVINO

  1. 安装地址： https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html?VERSION=v_2022_3_1&ENVIRONMENT=RUNTIME&OP_SYSTEM=WINDOWS&DISTRIBUTION=ARCHIVE
  2. 这里我下载的是 2022.3.1 Runtime OpenVINO Archives 版本.
  3. 然后拷贝到 C:\Program Files (x86)\Intel 下。
  4. 使用 python 安装 openvino-env (别的根据需求来安装)，详细安装步骤可参考: https://docs.openvino.ai/2023.2/openvino_docs_install_guides_installing_openvino_from_archive_windows.html
    pip install -r tools\requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r tools\requirements_onnx.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
  5. 使用 mo -h 来验证是否安装正确。

🚀 Export Model

  • pt convert to onnx
    python export.py --weights ./weights/yolov5s.pt --img 640 --batch 1 --include onnx
  • onnx convert to openvino
    # 这里我将归一化参数写入模型中了, 这样前处理可以不用做归一化处理了
# data_type 32: FP32 16: FP16
mo --input_model ./weights/yolov5s.onnx --output_dir ./weights --data_type FP16 --mean_values [0,0,0] --scale_values [255,255,255]
  • pt convert to openvino
    python export.py --weights ./weights/yolov5s.pt --img 640 --batch 1 --include openvino

🍋​ Yolov5

  • 获取当前支持的所有的AI硬件推理设备, 如果输出没有设备，则可尝试更新显卡驱动. https://www.intel.com/content/www/us/en/support/products/80939/graphics.html

    #include <openvino/openvino.hpp>
#include <iostream>
#include <vector>
int main() {ov::Core ie;//获取当前支持的所有的AI硬件推理设备std::vector<std::string> devices = ie.get_available_devices();for (int i = 0; i < devices.size(); i++) {std::cout << devices[i] << std::endl;}system("pause");return 0;
}// ----------------------- output -----------------------
CPU
GNA
GPU

  • 推理

    1. 代码来自这位博主, 详细过程可参考博主博客 https://blog.csdn.net/weixin_45650500/article/details/134455535
    2. 如果感觉初始化时间等待过长，可尝试添加缓存，则第一次加载过后，再次初始化会很快. core.set_property(ov::cache_dir("cache"));
    #include <opencv2/dnn.hpp>
#include <openvino/openvino.hpp>
#include <opencv2/opencv.hpp>using namespace std;const float SCORE_THRESHOLD = 0.2;
const float NMS_THRESHOLD = 0.4;
const float CONFIDENCE_THRESHOLD = 0.4struct Detection
{int class_id;float confidence;cv::Rect box;
};
struct Resize
{cv::Mat resized_image;int dw;int dh;
};
Resize resize_and_pad(cv::Mat& img, cv::Size new_shape) {float width = img.cols;float height = img.rows;float r = float(new_shape.width / max(width, height));int new_unpadW = int(round(width * r));int new_unpadH = int(round(height * r));Resize resize;cv::resize(img, resize.resized_image, cv::Size(new_unpadW, new_unpadH), 0, 0, cv::INTER_AREA);resize.dw = new_shape.width - new_unpadW;resize.dh = new_shape.height - new_unpadH;cv::Scalar color = cv::Scalar(100, 100, 100);cv::copyMakeBorder(resize.resized_image, resize.resized_image, 0, resize.dh, 0, resize.dw, cv::BORDER_CONSTANT, color);return resize;
}int main() {// Step 1. Initialize OpenVINO Runtime coreov::Core core;core.set_property(ov::cache_dir("cache"));// Step 2. Read a modelstd::shared_ptr<ov::Model> model = core.read_model("model/yolov5s.xml", "model/yolov5s.bin");//此处需要自行修改xml和bin的路径// Step 3. Read input image// 图像路径  cv::Mat img = cv::imread("images/bus.jpg");// resize imageResize res = resize_and_pad(img, cv::Size(640, 640));// Step 4. Inizialize Preprocessing for the modelov::preprocess::PrePostProcessor ppp = ov::preprocess::PrePostProcessor(model);// Specify input image formatppp.input().tensor().set_element_type(ov::element::u8).set_layout("NHWC").set_color_format(ov::preprocess::ColorFormat::BGR);// Specify preprocess pipeline to input image without resizing//ppp.input().preprocess().convert_element_type(ov::element::f32).convert_color(ov::preprocess::ColorFormat::RGB).scale({ 255., 255., 255. });ppp.input().preprocess().convert_element_type(ov::element::f32).convert_color(ov::preprocess::ColorFormat::RGB);//  Specify model's input layoutppp.input().model().set_layout("NCHW");// Specify output results formatppp.output().tensor().set_element_type(ov::element::f32);// Embed above steps in the graphmodel = ppp.build();ov::CompiledModel compiled_model = core.compile_model(model, "GPU");// Step 5. Create tensor from imagefloat* input_data = (float*)res.resized_image.data;ov::Tensor input_tensor = ov::Tensor(compiled_model.input().get_element_type(), compiled_model.input().get_shape(), input_data);// Step 6. Create an infer request for model inference ov::InferRequest infer_request = compiled_model.create_infer_request();infer_request.set_input_tensor(input_tensor);//增加计时器统计推理时间double start = clock();infer_request.infer();double end = clock();double last = start - end;cout << "Detect Time" << last << "ms" << endl;//Step 7. Retrieve inference results const ov::Tensor& output_tensor = infer_request.get_output_tensor();ov::Shape output_shape = output_tensor.get_shape();float* detections = output_tensor.data<float>();// Step 8. Postprocessing including NMS  std::vector<cv::Rect> boxes;vector<int> class_ids;vector<float> confidences;for (int i = 0; i < output_shape[1]; i++) {float* detection = &detections[i * output_shape[2]];float confidence = detection[4];if (confidence >= CONFIDENCE_THRESHOLD) {float* classes_scores = &detection[5];cv::Mat scores(1, output_shape[2] - 5, CV_32FC1, classes_scores);cv::Point class_id;double max_class_score;cv::minMaxLoc(scores, 0, &max_class_score, 0, &class_id);if (max_class_score > SCORE_THRESHOLD) {confidences.push_back(confidence);class_ids.push_back(class_id.x);float x = detection[0];float y = detection[1];float w = detection[2];float h = detection[3];float xmin = x - (w / 2);float ymin = y - (h / 2);boxes.push_back(cv::Rect(xmin, ymin, w, h));}}}std::vector<int> nms_result;cv::dnn::NMSBoxes(boxes, confidences, SCORE_THRESHOLD, NMS_THRESHOLD, nms_result);std::vector<Detection> output;for (int i = 0; i < nms_result.size(); i++){Detection result;int idx = nms_result[i];result.class_id = class_ids[idx];result.confidence = confidences[idx];result.box = boxes[idx];output.push_back(result);}// Step 9. Print results and save Figure with detectionsfor (int i = 0; i < output.size(); i++){auto detection = output[i];auto box = detection.box;auto classId = detection.class_id;auto confidence = detection.confidence;float rx = (float)img.cols / (float)(res.resized_image.cols - res.dw);float ry = (float)img.rows / (float)(res.resized_image.rows - res.dh);box.x = rx * box.x;box.y = ry * box.y;box.width = rx * box.width;box.height = ry * box.height;cout << "Bbox" << i + 1 << ": Class: " << classId << " "<< "Confidence: " << confidence << " Scaled coords: [ "<< "cx: " << (float)(box.x + (box.width / 2)) / img.cols << ", "<< "cy: " << (float)(box.y + (box.height / 2)) / img.rows << ", "<< "w: " << (float)box.width / img.cols << ", "<< "h: " << (float)box.height / img.rows << " ]" << endl;float xmax = box.x + box.width;float ymax = box.y + box.height;cv::rectangle(img, cv::Point(box.x, box.y), cv::Point(xmax, ymax), cv::Scalar(0, 255, 0), 3);cv::rectangle(img, cv::Point(box.x, box.y - 20), cv::Point(xmax, box.y), cv::Scalar(0, 255, 0), cv::FILLED);cv::putText(img, std::to_string(classId), cv::Point(box.x, box.y - 5), cv::FONT_HERSHEY_SIMPLEX, 0.5, cv::Scalar(0, 0, 0));}//显示具体结果cv::namedWindow("ImageWindow", cv::WINDOW_NORMAL);cv::resizeWindow("ImageWindow", 800, 600);cv::imshow("ImageWindow", img);cv::waitKey(0);cv::destroyAllWindows();return 0;
}

  • 输出结果
    在这里插入图片描述

参考

  • https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html?VERSION=v_2023_2_0&OP_SYSTEM=WINDOWS&DISTRIBUTION=ARCHIVE
  • https://docs.openvino.ai/2023.2/openvino_docs_install_guides_installing_openvino_from_archive_windows.html
  • https://blog.csdn.net/weixin_45650500/article/details/134455535

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/637031.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何快速打开github

如何快速打开github

作为一个资深码农&#xff0c;怎么能不熟悉全球最大的同性交友社区——github呢&#xff0c;但头疼的是github有时能打开&#xff0c;有时打不开&#xff0c;这是怎么回事&#xff1f; 其实问题出在github.com解析DNS上&#xff0c;并不是需要FQ。下面提供一个方法&#xff0c;…
阅读更多...
hot100：07接雨水

hot100：07接雨水

题目链接&#xff1a; 力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 算法思想&#xff1a; 这里采取的是暴力解法和双指针的解法&#xff0c;但是这个题目还有其他的两种解法&#xff08;单调栈和动态规划&#xff0c;同学可以自行了解&#xff…
阅读更多...
vue3前端开发,子组件向父组件传递数据练习

vue3前端开发,子组件向父组件传递数据练习

vue3前端开发,子组件向父组件传递数据练习&#xff01; <script setup> import Child from ./Child.vue const getMsg (msg)>{console.log(msg); } </script> <template><h3>Parent</h3><!--绑定事件--><Child get-Msg"getM…
阅读更多...
frida https抓包

frida https抓包

web端导入证书、https代理即可解决大部分需求&#xff0c;但是&#xff0c;有些app需要处理ssl pinning验证。 废话不多说。frida处理ssl pin的步骤大体如下。 安装python3.x,并在python环境中安装frida&#xff1a; pip install frida pip install frida-tools下载frida-se…
阅读更多...
基于JavaWeb+SSM+Vue基于微信小程序的在线投稿系统的设计和实现

基于JavaWeb+SSM+Vue基于微信小程序的在线投稿系统的设计和实现

基于JavaWebSSMVue基于微信小程序的在线投稿系统的设计和实现 滑到文末获取源码Lun文目录前言主要技术系统设计功能截图 滑到文末获取源码 Lun文目录 目录 1系统概述 1 1.1 研究背景 1 1.2研究目的 1 1.3系统设计思想 1 2相关技术 2 2.1微信小程序 2 2.2 MYSQL数据库 3 2.3 u…
阅读更多...
Rustdesk自建服务搭建好了，打开Win10 下客户端下面状态一直正在接入网络，无法成功连接服务器

Rustdesk自建服务搭建好了，打开Win10 下客户端下面状态一直正在接入网络，无法成功连接服务器

环境： Rustdesk1.2.3 自建服务器 有域名地址 问题描述： Rustdesk自建服务搭建好了，打开Win10 下客户端下面状态一直正在接入网络，无法成功连接服务器 解决方案： RustDesk是一款免费的远程桌面软件，它允许用户通过互联网远程连接和控制其他计算机。它是用Rust编程语…
阅读更多...
Mybatis原理 - 标签解析

Mybatis原理 - 标签解析

很多开源框架之所以能够流行起来&#xff0c;是因为它们解决了领域内的一些通用问题。但在实际使用这些开源框架的时候&#xff0c;我们都是要解决通用问题中的一个特例问题&#xff0c;所以这时我们就需要使用一种方式来控制开源框架的行为&#xff0c;这就是开源框架提供各种…
阅读更多...
小程序样例2：简单图片分类查看

小程序样例2：简单图片分类查看

基本功能&#xff1a; 1、根据分类展示图片&#xff0c;点击类目切换图片&#xff1a; 2、点击分类编辑&#xff0c;编辑分类显示&#xff1a; 3、点击某个分类&#xff0c;控制主页该分类显示和不显示&#xff1a; 类目2置灰后&#xff0c;主页不再显示 4、点击分类跳转到具…
阅读更多...
Vue记录

Vue记录

vue2、vue3记录 vue2记录 经典vue2结构 index.vue&#xff1a; <template><div>...</div> </template><script>import method from "xxx.js"import component from "xxx.vue"export default {name: "ComponentName&…
阅读更多...
typing python 类型标注学习笔记

typing python 类型标注学习笔记

在Python 3.5版本后引入的typing模块为Python的静态类型注解提供了支持。这个模块在增强代码可读性和维护性方面提供了帮助。 目录 简介为什么需要 Type hints typing常用类型typing初级语法typing基础语法默认参数及 Optional联合类型 (Union Type)类型别名 (Type Alias)子类型…
阅读更多...
Redis 面试题 | 02.精选Redis高频面试题

Redis 面试题 | 02.精选Redis高频面试题

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…
阅读更多...
【Linux】第三十一站：管道的一些应用

【Linux】第三十一站：管道的一些应用

文章目录 一、我们之前的|(竖划线)管道二、自定义shell三、使用管道实现一个简易的进程池1.详解2.代码3.一个小bug4.最终代码 一、我们之前的|(竖划线)管道 cat test.txt | head -10 | tail -5如上代码所示&#xff0c;是我们之前所用的管道 我们拿下面这个举个例子 当我们用…
阅读更多...
【Linux】安装n卡驱动以及可能遇到的问题

【Linux】安装n卡驱动以及可能遇到的问题

文章目录 1.换源以及更新2.安装依赖3. 安装n卡驱动独显与核显切换nvidia-settings消失忘记安装依赖无法进入图形化界面的急救命令行无响应办法 1.换源以及更新 目前&#xff0c;换源完全只需要鼠标点点点就可以完成了&#xff0c;打开应用列表里的Software & Updates&…
阅读更多...
Spring DI

Spring DI

目录 什么是依赖注入 属性注入 构造函数注入 Setter 注入 依赖注入的优势 什么是依赖注入 依赖注入是一种设计模式&#xff0c;它通过外部实体&#xff08;通常是容器&#xff09;来注入一个对象的依赖关系&#xff0c;而不是在对象内部创建这些依赖关系。这种方式使得对象…
阅读更多...
macOS修改默认时区显示中国时间

macOS修改默认时区显示中国时间

默认时区不是中国,显示时间不是中国时间 打开终端 ,删除旧区,并复制新时区到etcreb sudo -rm -rf /etc/localtime sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 重启系统后时间显示为中国时间
阅读更多...
SQL语句的执行顺序

SQL语句的执行顺序

查询语句语法&#xff1a; SELECT字段列表 FROM表名字段 WHERE条件列表 GROUP BY分组字段列表 HAVING分组后的条件列表 ORDER BY排序字段列表 LIMIT分页参数 执行顺序 #先找到表格 FROM表名字段 WHERE条件列表 GROUP BY分组字段列表 HAVING分组后的条件列表 SELECT字段列表 …
阅读更多...
4.C语言——数组

4.C语言——数组

数组 1.什么是数组2.一维数组1.数组定义2.数组赋值3.数组的使用4.数组的存储地址 3.二维数组1.数组定义2.数组赋值3.数组的使用4.数组的存储地址 4.数组名5.数组越界 1.什么是数组 数组是用来存储一系列数据&#xff0c;但它往往被认为是一系列相同类型的变量 所有的数组都是由…
阅读更多...
【网站项目】329网月科技公司门户网站

【网站项目】329网月科技公司门户网站

&#x1f64a;作者简介&#xff1a;多年一线开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0c;帮助大学选题。赠送开题报告模板&#xff…
阅读更多...
正则表达式初版

正则表达式初版

一、简介 REGEXP&#xff1a; Regular Expressions&#xff0c;由一类特殊字符及文本字符所编写的模式&#xff0c;其中有些字符&#xff08;元字符&#xff09;不表示字符字面意义&#xff0c;而表示控制或通配的功能&#xff0c;类似于增强版的通配符功能&#xff0c;但与通…
阅读更多...
什么是技术架构？架构和框架之间的区别是什么？怎样去做好架构设计？（二）

什么是技术架构？架构和框架之间的区别是什么？怎样去做好架构设计？（二）

什么是技术架构？架构和框架之间的区别是什么？怎样去做好架构设计？（二）。 技术架构是对某一技术问题（需求）解决方案的结构化描述，由构成解决方案的组件结构及之间的交互关系构成。广义上的技术架构是一系列涵盖多类技术问题设计方案的统称，例如部署方案、存储方案、缓存…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023