yolov10--C#接口

一、前言

     本章主要讲解yolov10的C#接口,主要是使用微软开发的openvinocsharp工具加载yolov10模型,并做推理。

二、yolov10模型转换

     这里为了演示,使用官方yolov10m模型(其他大小的模型同理)做演示,可从下方下载,当然也可以是自己训练好的模型

https://github.com/THU-MIG/yolov10/releases/download/v1.1/yolov10m.pt

      该原始模型,需要被转换为openvinocsharp所支持的模型格式,为此需要建立一个yolov10的python环境,使用conda创建,requirements.txt 为 yolov10官方代码下的所需包

conda create -n yolov10 python=3.9
conda activate yolov10
pip install -r requirements.txt
pip install -e .

然后安装OpenVINO™环境,输入以下指令

pip install openvino==2024.1.0

在该创建好的虚拟环境,cd 至下载好的yolov10m.pt 所在目录,执行

yolo export model=yolov10m.pt format=onnx opset=11 simplify
ovc yolov10m.onnx

这样,pt文件的模型将转换为onnx文件,再换换为 openvino 所需的 bin 和 xml 文件格式

三、C#端openvinosharp相关包安装

         首先需使用VS2022构建项目,其次将openvinosharp相关包安装上

<Project Sdk="Microsoft.NET.Sdk"><PropertyGroup><OutputType>Exe</OutputType><TargetFramework>net6.0</TargetFramework><ImplicitUsings>enable</ImplicitUsings><Nullable>enable</Nullable></PropertyGroup><ItemGroup><PackageReference Include="OpenCvSharp4" Version="4.9.0.20240103" /><PackageReference Include="OpenCvSharp4.Extensions" Version="4.9.0.20240103" /><PackageReference Include="OpenCvSharp4.runtime.win" Version="4.9.0.20240103" /><PackageReference Include="OpenVINO.CSharp.API" Version="2024.1.0.1" /><PackageReference Include="OpenVINO.CSharp.API.Extensions.OpenCvSharp" Version="1.0.4" /><PackageReference Include="OpenVINO.runtime.win" Version="2024.1.0.1" /></ItemGroup></Project>

也就是  OpenCvSharp4、OpenCvSharp4.Extensions、OpenCvSharp4.runtime.win、OpenVINO.CSharp.API、OpenVINO.CSharp.API.Extensions.OpenCvSharp、OpenVINO.runtime.win,这6个包给装上

这部分参考自下面博客

【OpenVINO™】在C#中使用 OpenVINO™ 部署 YOLOv10 模型实现目标_yolov10 openvino-CSDN博客

四、C#加载yolo10推理代码

这样就可以创建C# winform项目,愉快地加载前面转换好的模型文件做前向推理了

// See https://aka.ms/new-console-template for more information
//Console.WriteLine("Hello, World!");using System.Reflection;
using System.Runtime.InteropServices;
using System;
using OpenVinoSharp;
using OpenVinoSharp.Extensions.utility;
using OpenVinoSharp.Extensions;
using OpenCvSharp;
using OpenCvSharp.Dnn;
using OpenVinoSharp.preprocess;namespace yolov10_det_opencvsharp
{internal class Program{static void Main(string[] args){string model_path = "./model_demo/yolov10m.xml";string image_path = "./model_demo/cat.png";string device = "AUTO";  //CPU GPU AUTO,可选AUTO模式// -------- Get OpenVINO runtime version --------OpenVinoSharp.Version version = Ov.get_openvino_version();Slog.INFO("---- OpenVINO INFO----");Slog.INFO("Description : " + version.description);Slog.INFO("Build number: " + version.buildNumber);Slog.INFO("Predict model files: " + model_path);Slog.INFO("Predict image  files: " + image_path);Slog.INFO("Inference device: " + device);Slog.INFO("Start yolov10 model inference.");//yolov10_det(model_path, image_path, device);yolov10_det_process(model_path, image_path , device);}static void yolov10_det(string model_path, string image_path, string device){DateTime start = DateTime.Now;// -------- Step 1. Initialize OpenVINO Runtime Core --------Core core = new Core();DateTime end = DateTime.Now;Slog.INFO("1. Initialize OpenVINO Runtime Core success, time spend: " + (end - start).TotalMilliseconds + "ms.");// -------- Step 2. Read inference model --------start = DateTime.Now;Model model = core.read_model(model_path);end = DateTime.Now;Slog.INFO("2. Read inference model success, time spend: " + (end - start).TotalMilliseconds + "ms.");OvExtensions.printf_model_info(model);// -------- Step 3. Loading a model to the device --------start = DateTime.Now;CompiledModel compiled_model = core.compile_model(model, device);end = DateTime.Now;Slog.INFO("3. Loading a model to the device success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 4. Create an infer request --------start = DateTime.Now;InferRequest infer_request = compiled_model.create_infer_request();end = DateTime.Now;Slog.INFO("4. Create an infer request success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 5. Process input images --------start = DateTime.Now;Mat image = new Mat(image_path); // Read image by opencvsharpint max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows;Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3);Rect roi = new Rect(0, 0, image.Cols, image.Rows);image.CopyTo(new Mat(max_image, roi));float factor = (float)(max_image_length / 640.0);end = DateTime.Now;Slog.INFO("5. Process input images success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 6. Set up input data --------start = DateTime.Now;Tensor input_tensor = infer_request.get_input_tensor();Shape input_shape = input_tensor.get_shape();Mat input_mat = CvDnn.BlobFromImage(max_image, 1.0 / 255.0, new OpenCvSharp.Size(input_shape[2], input_shape[3]), 0, true, false);float[] input_data = new float[input_shape[1] * input_shape[2] * input_shape[3]];Marshal.Copy(input_mat.Ptr(0), input_data, 0, input_data.Length);input_tensor.set_data<float>(input_data);end = DateTime.Now;Slog.INFO("6. Set up input data success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 7. Do inference synchronously --------infer_request.infer();start = DateTime.Now;infer_request.infer();end = DateTime.Now;Slog.INFO("7. Do inference synchronously success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 8. Get infer result data --------start = DateTime.Now;Tensor output_tensor = infer_request.get_output_tensor();int output_length = (int)output_tensor.get_size();float[] output_data = output_tensor.get_data<float>(output_length);end = DateTime.Now;Slog.INFO("8. Get infer result data success, time spend:" + (end - start).TotalMilliseconds + "ms.");-------- Step 9. Process reault  --------start = DateTime.Now;List<Rect> position_boxes = new List<Rect>();List<int> class_ids = new List<int>();List<float> confidences = new List<float>();// Preprocessing output resultsfor (int i = 0; i < output_data.Length / 6; i++){int s = 6 * i;if ((float)output_data[s + 4] > 0.5){float cx = output_data[s + 0];float cy = output_data[s + 1];float dx = output_data[s + 2];float dy = output_data[s + 3];int x = (int)((cx) * factor);int y = (int)((cy) * factor);int width = (int)((dx - cx) * factor);int height = (int)((dy - cy) * factor);Rect box = new Rect();box.X = x;box.Y = y;box.Width = width;box.Height = height;position_boxes.Add(box);class_ids.Add((int)output_data[s + 5]);confidences.Add((float)output_data[s + 4]);}}end = DateTime.Now;Slog.INFO("9. Process reault  success, time spend:" + (end - start).TotalMilliseconds + "ms.");for (int i = 0; i < class_ids.Count; i++){int index = i;Cv2.Rectangle(image, position_boxes[index], new Scalar(0, 0, 255), 2, LineTypes.Link8);Cv2.Rectangle(image, new OpenCvSharp.Point(position_boxes[index].TopLeft.X, position_boxes[index].TopLeft.Y + 30),new OpenCvSharp.Point(position_boxes[index].BottomRight.X, position_boxes[index].TopLeft.Y), new Scalar(0, 255, 255), -1);Cv2.PutText(image, class_ids[index] + "-" + confidences[index].ToString("0.00"),new OpenCvSharp.Point(position_boxes[index].X, position_boxes[index].Y + 25),HersheyFonts.HersheySimplex, 0.8, new Scalar(0, 0, 0), 2);}string output_path = Path.Combine(Path.GetDirectoryName(Path.GetFullPath(image_path)),Path.GetFileNameWithoutExtension(image_path) + "_result.jpg");Cv2.ImWrite(output_path, image);Slog.INFO("The result save to " + output_path);Cv2.ImShow("Result", image);Cv2.WaitKey(0);}static void yolov10_det_process(string model_path, string image_path, string device){DateTime start = DateTime.Now;// -------- Step 1. Initialize OpenVINO Runtime Core --------Core core = new Core();DateTime end = DateTime.Now;Slog.INFO("1. Initialize OpenVINO Runtime Core success, time spend: " + (end - start).TotalMilliseconds + "ms.");// -------- Step 2. Read inference model --------start = DateTime.Now;Model model = core.read_model(model_path);end = DateTime.Now;Slog.INFO("2. Read inference model success, time spend: " + (end - start).TotalMilliseconds + "ms.");OvExtensions.printf_model_info(model);PrePostProcessor processor = new PrePostProcessor(model);Tensor input_tensor_pro = new Tensor(new OvType(ElementType.U8), new Shape(1, 640, 640, 3));   //注意这个地方要改和模型窗口一致,模型是640,这里也要640InputInfo input_info = processor.input(0);InputTensorInfo input_tensor_info = input_info.tensor();input_tensor_info.set_from(input_tensor_pro).set_layout(new Layout("NHWC")).set_color_format(ColorFormat.BGR);PreProcessSteps process_steps = input_info.preprocess();process_steps.convert_color(ColorFormat.RGB).resize(ResizeAlgorithm.RESIZE_LINEAR).convert_element_type(new OvType(ElementType.F32)).scale(255.0f).convert_layout(new Layout("NCHW"));Model new_model = processor.build();// -------- Step 3. Loading a model to the device --------start = DateTime.Now;CompiledModel compiled_model = core.compile_model(new_model, device);end = DateTime.Now;Slog.INFO("3. Loading a model to the device success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 4. Create an infer request --------start = DateTime.Now;InferRequest infer_request = compiled_model.create_infer_request();end = DateTime.Now;Slog.INFO("4. Create an infer request success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 5. Process input images --------start = DateTime.Now;Mat image = new Mat(image_path); // Read image by opencvsharpint max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows;Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3);Rect roi = new Rect(0, 0, image.Cols, image.Rows);image.CopyTo(new Mat(max_image, roi));Cv2.Resize(max_image, max_image, new OpenCvSharp.Size(640, 640));   //注意这个地方要改和模型窗口一致,模型是640,这里也要640float factor = (float)(max_image_length / 640.0);end = DateTime.Now;Slog.INFO("5. Process input images success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 6. Set up input data --------start = DateTime.Now;Tensor input_tensor = infer_request.get_input_tensor();Shape input_shape = input_tensor.get_shape();byte[] input_data = new byte[input_shape[1] * input_shape[2] * input_shape[3]];//max_image.GetArray<int>(out input_data);Marshal.Copy(max_image.Ptr(0), input_data, 0, input_data.Length);IntPtr destination = input_tensor.data();Marshal.Copy(input_data, 0, destination, input_data.Length);end = DateTime.Now;Slog.INFO("6. Set up input data success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 7. Do inference synchronously --------infer_request.infer();start = DateTime.Now;infer_request.infer();end = DateTime.Now;Slog.INFO("7. Do inference synchronously success, time spend:" + (end - start).TotalMilliseconds + "ms.");// -------- Step 8. Get infer result data --------start = DateTime.Now;Tensor output_tensor = infer_request.get_output_tensor();int output_length = (int)output_tensor.get_size();float[] output_data = output_tensor.get_data<float>(output_length);end = DateTime.Now;Slog.INFO("8. Get infer result data success, time spend:" + (end - start).TotalMilliseconds + "ms.");-------- Step 9. Process reault  --------start = DateTime.Now;List<Rect> position_boxes = new List<Rect>();List<int> class_ids = new List<int>();List<float> confidences = new List<float>();// Preprocessing output resultsfor (int i = 0; i < output_data.Length / 6; i++){int s = 6 * i;if ((float)output_data[s + 4] > 0.2){float cx = output_data[s + 0];float cy = output_data[s + 1];float dx = output_data[s + 2];float dy = output_data[s + 3];int x = (int)((cx) * factor);int y = (int)((cy) * factor);int width = (int)((dx - cx) * factor);int height = (int)((dy - cy) * factor);Rect box = new Rect();box.X = x;box.Y = y;box.Width = width;box.Height = height;position_boxes.Add(box);class_ids.Add((int)output_data[s + 5]);confidences.Add((float)output_data[s + 4]);}}end = DateTime.Now;Slog.INFO("9. Process reault  success, time spend:" + (end - start).TotalMilliseconds + "ms.");for (int i = 0; i < class_ids.Count; i++){int index = i;Cv2.Rectangle(image, position_boxes[index], new Scalar(0, 0, 255), 2, LineTypes.Link8);Cv2.Rectangle(image, new OpenCvSharp.Point(position_boxes[index].TopLeft.X, position_boxes[index].TopLeft.Y + 30),new OpenCvSharp.Point(position_boxes[index].BottomRight.X, position_boxes[index].TopLeft.Y), new Scalar(0, 255, 255), -1);Cv2.PutText(image, class_ids[index] + "-" + confidences[index].ToString("0.00"),new OpenCvSharp.Point(position_boxes[index].X, position_boxes[index].Y + 25),HersheyFonts.HersheySimplex, 0.8, new Scalar(0, 0, 0), 2);}string output_path = Path.Combine(Path.GetDirectoryName(Path.GetFullPath(image_path)),Path.GetFileNameWithoutExtension(image_path) + "_result.jpg");Cv2.ImWrite(output_path, image);Slog.INFO("The result save to " + output_path);Cv2.ImShow("Result", image);Cv2.WaitKey(0);}}
}

五、输出结果

        运行代码,可以得到统计的代码加载、预处理、推理的运行时间,并且得到识别结果,类别号、置信度、以及位置

       有显卡的话,可将模型AUTO改为GPU,运行时间会更快些。。。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/29639.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

游戏服务器研究一:bigworld 开源代码的编译与运行

1. 前言 bigworld 已经开源了它的代码&#xff0c;而我对于大世界的 scale 很感兴趣&#xff0c;所以就尝试把代码跑起来研究。但是&#xff0c;整个过程比我原先预想的复杂得多。 虽然能找到一些官方的帮助文档&#xff0c;但这些文档要么过旧&#xff0c;要么过于详尽&…

【护眼知识】护眼台灯真的有用吗?带你看台灯怎么选对眼睛好

在数字化时代&#xff0c;我们的眼睛无疑承受着前所未有的压力。无论是长时间盯着电脑屏幕&#xff0c;还是沉浸在书本的海洋中&#xff0c;眼睛的健康都成为了我们不容忽视的问题。中国现有约500万盲人&#xff0c;占总人口的0.4%&#xff0c;是世界上盲和视力损伤严重的国家之…

浏览器加速播放视频技巧

当我们看网页中的视频时&#xff0c;想加速播放&#xff0c;但是选项最高只能2倍速时&#xff0c;还想再加快播放如何操作&#xff1f; 此时我们可以按F12打开浏览器开发者选项&#xff0c;然后点击控制台&#xff0c;在浏览器输入如下代码&#xff1a; document.querySelecto…

月薪没到20K,必啃的WebGIS系统技术栈,你练到哪一步了?

WebGIS&#xff08;网络地理信息系统&#xff09;是目前地理信息系统&#xff08;GIS&#xff09;开发的主流&#xff0c;它利用互联网技术来发布、共享和交互地理空间数据。 一个完整的WebGIS项目通常涉及以下几个主要环节&#xff1a;具备一定的理论知识&#xff0c;数据生产…

MAGs培养有线索了?宏组学中未培养微生物表型与培养条件预测

宏基因组测序技术让人们对地球上微生物的多样性有了更深入的了解&#xff0c;但分离培养是研究微生物的生理代谢功能并解析其生态作用的关键。2023年11月的世界微生物数据中心&#xff08;WDCM&#xff09;年会中&#xff0c;全面启动了全球“未培养微生物培养组”计划&#xf…

毕业回家寄大量衣服裤子省钱技巧分享

很多宝子们问我&#xff0c;怎么寄快递更加便宜划算&#xff0c;特别是当你有很多的衣服裤子这类型的衣物的时候&#xff0c;怎么寄件最便宜。 今天分享几个寄快递的省钱方法以及经验分享。 1、惠发快递 像寄包裹快递&#xff0c;可以找快递平台进行下单&#xff0c;这样会更…

【机器学习300问】124、什么是LSTM?LSTM的基本结构是怎样的?

长短期记忆网络&#xff08;LSTM&#xff09;是一种解决隐变量模型长期信息保存和短期输入缺失问题的方法&#xff0c;有趣的是&#xff0c;长短期记忆网络的设计比门控循环单元稍微复杂一些&#xff0c; 却比门控循环单元早诞生了近20年。 一、什么是LSTM&#xff1f; LSMT全…

M41T00串行实时时钟-国产兼容RS4C1339

RS4C1340是一种实时时钟&#xff08;RTC&#xff09;/日历&#xff0c;与ST M41T00引脚兼容&#xff0c;功能等效&#xff0c;包括软件时钟校准。该器件还提供VBAT引脚上的涓流充电能力、较低的计时电压和振荡器STOP标志。寄存器映射的块访问与ST设备相同。涓流充电器和标志需要…

vue+springboot导入Excel表格

1.创建一个excel表格,与数据库需要的表头对应 2.(前端)导入excel的按钮 <template class"importExcel"><el-button type"primary" click"chooseFile">导入<i class"el-icon-upload el-icon--right"></i><…

短路是怎么形成的

1. 短路分为电源短路和用电器短路。 电源短路&#xff1a;电流不经过任何用电器&#xff0c;直接由正极经过导线流向负极&#xff0c;由于电源内阻很小&#xff0c;导致短路电流很大&#xff0c;特别容易烧坏电源。 用电器短路&#xff1a;也叫部分电路短路&#xff0c;即一根…

利用AI云防护实现高效负载均衡

在当今高度数字化的世界里&#xff0c;保证网站和应用的高可用性和响应速度对企业的业务连续性和用户体验至关重要。传统的负载均衡技术虽然能够分发流量&#xff0c;但在面对突发流量、DDoS攻击或资源动态调整时往往力不从心。本文将探讨如何借助AI云防护服务&#xff0c;不仅…

搭贝低代码开发平台:高效、灵活、经济的软件开发解决方案

在当今快速发展的数字化时代&#xff0c;企业对于快速、灵活且成本效益高的软件开发需求日益增长。搭贝低代码开发平台以其强大的功能和用户友好的体验&#xff0c;正在成为众多企业&#xff0c;特别是中小企业&#xff0c;软件开发的首选工具。 &#x1f4c8; 什么是低代码开发…

中力股份注册获批复:“重营销轻研发”明显,屡屡因违规被罚

《港湾商业观察》施子夫 王璐 冲刺上交所主板即将满两年&#xff0c;浙江中力机械股份有限公司&#xff08;以下简称&#xff0c;中力股份&#xff09;于4月24日宣布&#xff0c;首次公开发行股票的注册申请已获证监会同意。 不出意外的话&#xff0c;预计不久的数月内中力股…

电子期刊制作秘籍:如何让你的出版物脱颖而出?

​如何让你的电子期刊在众多出版物中脱颖而出&#xff0c;吸引读者的目光呢&#xff1f;在微信公众号这个平台上&#xff0c;让你的电子期刊内容更具吸引力、专业性和创新性&#xff0c;是至关重要的。下面&#xff0c;我将教你制作电子期刊一些方法&#xff0c;助你打造出一本…

【Pepper机器人开发与应用】二、Pepper机器人图形化开发:医疗服务机器人程序设计

‍‍&#x1f3e1;博客主页&#xff1a; virobotics(仪酷智能)&#xff1a;LabVIEW深度学习、人工智能博主 &#x1f4d1;上期文章&#xff1a;『【Pepper机器人开发与应用】一、教你如何使用图形化开发软件高效开发pepper机器人&#xff08;Pepper SDK for LabVIEW&#xff09…

卷积神经网络 convolution neural network

1.数学卷积&#xff1a;滑动窗口 2.图像具有局部相关性和平移不变性&#xff0c;有许多冗余的特征点&#xff0c;如果用全连接的神经网络会很浪费时间。 3.卷积nn&#xff1a;减少参数&#xff0c;滑动提取特征&#xff0c;特征作为下层卷积的输入&#xff0c;然后放到全连接…

VM4.3 二次开发03 小技巧

VM4.3 二次开发03 小技巧 1.查看SDK帮助文档。 SDK帮助文档路径&#xff1a;安装目录下的路径&#xff0c;注意自己安装时的盘符&#xff0c;我是安装在D盘的。 D:\Program Files\VisionMaster4.3.0\Development\V4.x\Documentations\CH 示例程序目录 D:\Program Files\Visi…

Java 18新特性概览与解读

随着技术的不断进步&#xff0c;Java作为最流行的编程语言之一&#xff0c;也在持续地进行版本更新&#xff0c;为开发人员提供更强大、更高效的工具和特性。Java 18作为最新的稳定版本&#xff0c;引入了一系列引人注目的新特性和改进。以下是对Java 18中一些主要新特性的详细…

电商淘宝京东,精准关键词搜索API接口

当使用电商淘宝京东的精准关键词搜索API接口时&#xff0c;以下是清晰的步骤指南&#xff1a; 一、注册与申请API密钥 注册账号&#xff1a;在淘宝开放平台或京东开放平台注册成为开发者&#xff0c;并创建账号。 创建应用&#xff1a;登录后&#xff0c;在开放平台创建一个应…

最值得入手的宠物空气净化器!希喂、352、安德迈真实测评~

随着天气越来越热&#xff0c;猫咪们也都开始掉毛啦。这时候&#xff0c;家里面到处都飘浮着猫咪们的浮毛和粑粑异味。抵抗力较差的铲屎官&#xff0c;身体就会出现一些问题&#xff0c;例如打喷嚏、咳嗽等呼吸道问题。 很多铲屎官以为用粘毛器、吸尘器等工具就能将猫咪们掉落…