【OpenCV】 OpenCV (C++) 与 OpenCvSharp (C#) 之间数据通信

  OpenCV是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库,可以运行在Linux、Windows、Android和Mac OS操作系统上。 它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。
  OpenCvSharp 是一个OpenCV的.Net wrapper,应用最新的OpenCV库开发,使用习惯比EmguCV更接近原始的OpenCV,有详细的使用样例供参考。该库采用LGPL发行,对商业应用友好。使用OpenCvSharp,可用C#,VB.NET等语言实现多种流行的图像处理(image processing)与计算机视觉(computer vision)算法。

  但是在实际使用中,由于涉及到不同编程语言之间互相调用,导致C++ 中的OpenCV与C#中的OpenCvSharp 图像数据在不同编程语言之间难以有效传递。在本文中我们将结合OpenCvSharp源码实现原理,探究两种数据之间的通信方式。

1. 问题分析

  在日常开发中,由于一些库不支持C#接口,因此在使用时我们需要借助动态链接库的方式,在C#中调用C++封装的应用。由于C++与C#底层编译方式不同,因此动态链接库只可以传递基础的数据类型,无法传递像Class这种高级的数据格式。

  在日常开发中,我们在C#中使用OpenCvSharp进行图像处理,但是我们调用的算法是通过C++封装的动态链接库,且需要将图片数据传递到C++封装的动态链接库中进行处理,因此实现高效的实现图片数据传递是十分有必要的。常见的方式有两种:

在这里插入图片描述

  (1)第一种方式是在C#中将图片数据转为基本数据类型byte[]数组,然后将该数据传递到C++动态链接库中,在接收到该数据后,由C++再将该数据重新转为图片数据进行处理。目前该方式经过测试,是可以实现的,但是这样有一个弊端,图片数据需要进行两次的转换,这样会导致严重浪费时间和消耗大量内存。

  (2)第二种方式是在C#中将数据保存到本地,然后再C++动态链接库中读取。与上一种方式一样,这样会导致严重浪费时间和消耗大量内存。

2. 解决办法

  为了解决这个问题,我们探究了一下OpenCvSharp 实现方式,通过其源码可知,OpenCvSharp 在实现时,是通过对C++中的OpenCV进行了进一步封装,将Mat数据定义成指针类型,然后以指针的方式在C++与C#中进行传递;而在C#中,重新定义了Mat数据类型,将C++传递来的Mat指针作为成员变量进行初始化,而后续基于Mat的所有操作,其低层都是通过传递这个指针进行操作的。

在这里插入图片描述

  知道了Mat的这个数据类型的实现原理后,我们可以模仿这种方式,以指针的方式实现将OpenCvSharp的数据传递到OpenCV C++中,这样就可以快速实现数据类型传递。实现方式如下图所示。

在这里插入图片描述

  在C#中使用OpenCvSharp获取一个图片数据,数据类型为Mat,我们可以先进行处理等操作;接下来我们可以获取OpenCvSharp的地址CvPtr,然后在C++中使用*Mat指针进行获取,然后通过*Mat我们便可以获取到OpenCV C++中的Mat数据。接下来,用户就可以根据自己的需求进行处理即可。在处理完成后,在将获得新的用Mat数据转为用*Mat指针,然后再C#中,使用IntPtr数据类型进行接收,然后使用OpenCvSharp的Mat以获取的指针数据为初始值初始化Mat数据类型即获得新的Mat数据。

  通过上述方式,我们便可以很轻松的实现C#中的OpenCvSharp与C++中的OpenCv数据转换。

3. 项目创建

为方便演示,下述所有程序设计与编译皆是在Windows11环境下,使用Visual Studio 2022编辑器实现。

  • OpenCV: 4.8.0
  • OpenCvSharp: 4.9.0

大家可以根据上述版本进行配置,也可以使用其他版本配置,但要保证OpenCV与OpenCvSharp都是同一个基础版本的,且版本差别不要太大。

3.1 创建C++项目

  使用Visual Studio 2022创建一个空的C++项目,然后添加两个文件,分别为:mat_conv.hmat_conv.cpp

  接下来配置项目属性,首先配置项目输出类型,如下图所示,设置图片输出类型为动态库(.dll)

请添加图片描述

  然后配置OpenCV C++项目依赖,主要是配置C++项目的包含目录、库目录以及附加依赖项三个地方,如下图所示:

  以下是我的项目设置信息,大家可以根据自己安装的OpenCV情况进行设置:

包含目录: C:\3rdpartylib\opencv\build\include
库目录: C:\3rdpartylib\opencv\build\x64\vc16\lib
附加依赖项: opencv_world480.lib

3.2 创建C#项目

  使用Visual Studio 2022创建一个新的C#控制台项目,然后使用NuGet安装所需的程序集即可,此处只需要安装OpenCvSharp即可,如下图所示:

请添加图片描述

4. 接口测试

  此处主要测试四个接口:

  • 第一个接口测试在OpenCvSharp中读取一张图片,然后将图片数据传入到OpenCV中,测试传入是否成功。
  • 第二个测试接口在OpenCV创建一个图片,绘制一个矩形,然后将创建好的图片传出到OpenCvSharp,测试传出数据是否成功。
  • 第三个测试接口是在OpenCvSharp中读取一张图片,然后将图片数据传入到OpenCV中,并进行一步处理,该处理结果会将数据保存到另一个新的图片数据中,将该新的图片数据传出,然后在OpenCvSharp查看是否处理成功,测试该过程是否成功。
  • 第四个测试接口是在OpenCvSharp中读取一张图片,然后将图片数据传入到OpenCV中,并进行一步处理,该处理结果会直接在原有数据上进行修改,然后在OpenCvSharp查看是否处理成功,测试该过程是否成功。

4.1 接口一测试

  在以下文件中分别添加以下代码:

mat_conv.h

#include "opencv2/opencv.hpp"
extern "C"  __declspec(dllexport) void __stdcall mat_conv1(cv::Mat * mat);

mat_conv.cpp

#include "mat_conv.h"void mat_conv1(cv::Mat *mat)
{cv::imshow("image", *mat);cv::waitKey(0);
}

Program.cs

using OpenCvSharp;
using OpenCvSharp.Internal;
using System.Runtime.InteropServices;
namespace opencv_csharp
{internal class Program{static void Main(string[] args){Console.WriteLine("Hello, World!");string image_path = "image.jpg";Mat mat1 = Cv2.ImRead(image_path);Methord.mat_conv1(mat1.CvPtr);}}class Methord {private const string dll_path = "C:\\Users\\lenovo\\Desktop\\test_opencv\\x64\\Release\\opencv_cpp.dll";[DllImport(dll_path, CharSet = CharSet.Unicode, CallingConvention = CallingConvention.Cdecl)]public static extern void mat_conv1(IntPtr mat);}
}

  其中,mat_conv.hmat_conv.cpp为C++项目文件,Program.cs文件为C#项目文件。

  在C++项目文件中,extern "C" __declspec(dllexport)表示使用C语言的编译方式进行编译,并导出到dll中。 mat_conv1(cv::Mat * mat)方法主要是接受传入的Mat指针,并使用cv::imshow("image", *mat)将图片数据展示出来。

  在C#项目中,使用[DllImport]属性将动态链接库中的mat_conv1读取出来,同时因为在C#中指针都是被封装为IntPtr类型的,因此使用IntPtr表示此处传入的参数为指针类型。在使用该接口时,直接调用该方法,并且传入指针参数,该指针参数可以通过Mat.CvPtr直接获得。

  如下图所示,程序在运行后,成功将传入的图片数据绘制出来,如下图所示,说明该接口测试成功,也证明了该方法是可行的。

请添加图片描述

4.2 接口二测试

  在以下文件中分别添加以下代码:

mat_conv.h

#include "opencv2/opencv.hpp"
extern "C"  __declspec(dllexport) void __stdcall mat_conv2(cv::Mat **returnValue);

mat_conv.cpp

#include "mat_conv.h"void  mat_conv2(cv::Mat** returnValue)
{// 创建一个空白图像cv::Mat image = cv::Mat::zeros(400, 400, CV_8UC3);// 矩形的左上角和右下角坐标cv::Point2f rect_start(50, 50);cv::Point2f rect_end(350, 350);// 矩形颜色 (B, G, R)cv::Scalar color(255, 0, 0); // 红色// 矩形线条粗细int thickness = 2;// 绘制矩形cv::rectangle(image, rect_start, rect_end, color, thickness);*returnValue = new cv::Mat(image);
}

Program.cs

using OpenCvSharp;
using OpenCvSharp.Internal;
using System.Runtime.InteropServices;
namespace opencv_csharp
{internal class Program{static void Main(string[] args){Console.WriteLine("Hello, World!");IntPtr ptr2 = IntPtr.Zero;Methord.mat_conv2(out ptr2);Mat mat2 = new Mat(ptr2);Cv2.ImShow("image2", mat2);Cv2.WaitKey(0);}}class Methord {private const string dll_path = "C:\\Users\\lenovo\\Desktop\\test_opencv\\x64\\Release\\opencv_cpp.dll";[DllImport(dll_path, CharSet = CharSet.Unicode, CallingConvention = CallingConvention.Cdecl)]public static extern void mat_conv2(out IntPtr returnValue);}
}

  其中,mat_conv.hmat_conv.cpp为C++项目文件,Program.cs文件为C#项目文件。

  在C++项目文件中,mat_conv2(cv::Mat** returnValue)主要是创建一个画布,并绘制一个矩形,然后将创建好的图片数据以指针的方式传递到C#中。

  在C#项目中,使用[DllImport]属性将动态链接库中的mat_conv2读取出来,传出数据此处使用的是双重指针,因此使用out IntPtr进行接收。在获取到该方法后,我们调用new Mat(IntPtr ptr)构造方法初始化为新的Mat数据。。

  如下图所示,程序在运行后,成功将传出的图片数据绘制出来,如下图所示,说明该接口测试成功,也证明了该方法是可行的。

请添加图片描述

4.3 接口三测试

  在以下文件中分别添加以下代码:

mat_conv.h

#include "opencv2/opencv.hpp"
extern "C"  __declspec(dllexport) void __stdcall mat_conv3(cv::Mat * mat, cv::Mat **returnValue);

mat_conv.cpp

#include "mat_conv.h"void  mat_conv3(cv::Mat * mat, cv::Mat **returnValue)
{cv::Mat m;cv::cvtColor(*mat, m, cv::COLOR_BGR2GRAY);*returnValue = new cv::Mat(m);
}

Program.cs

using OpenCvSharp;
using OpenCvSharp.Internal;
using System.Runtime.InteropServices;
namespace opencv_csharp
{internal class Program{static void Main(string[] args){Console.WriteLine("Hello, World!");string image_path = "image.jpg";Mat mat3 = Cv2.ImRead(image_path);IntPtr ptr3 = IntPtr.Zero;Methord.mat_conv3(mat1.CvPtr, out ptr3);Mat mat3 = new Mat(ptr3);Cv2.ImShow("image1", mat3);Cv2.WaitKey(0);}}class Methord {private const string dll_path = "C:\\Users\\lenovo\\Desktop\\test_opencv\\x64\\Release\\opencv_cpp.dll";[DllImport(dll_path, CharSet = CharSet.Unicode, CallingConvention = CallingConvention.Cdecl)]public static extern void mat_conv3(IntPtr mat, out IntPtr return_value);}
}

  其中,mat_conv.hmat_conv.cpp为C++项目文件,Program.cs文件为C#项目文件。

  在C++项目文件中, mat_conv2(cv::Mat * mat, cv::Mat **returnValue)方法主要是接受传入的Mat指针,并将传入的图片数据转为灰度图,同时将转换好的图片数据以指针的方式传出到C#中。

  在C#项目中,使用[DllImport]属性将动态链接库中的mat_conv3读取出来,其中传入数据为指针数据,所以直接使用IntPtr即可;而对于传出数据此处使用的是双重指针,因此使用out IntPtr进行接收。在获取到该方法后,我们调用new Mat(IntPtr ptr)构造方法初始化为新的Mat数据。

  如下图所示,程序在运行后,成功将传入的图片数据进行灰度转换,并将转换后的图片数据成功传递出来,说明该接口测试成功,也证明了该方法是可行的。同时我们测试了该过程所需时间,仅使用了3.69毫秒。

请添加图片描述

4.4 接口四测试

  在以下文件中分别添加以下代码:

mat_conv.h

#include "opencv2/opencv.hpp"
extern "C"  __declspec(dllexport) void __stdcall mat_conv4(cv::Mat * mat);

mat_conv.cpp

#include "mat_conv.h"void  mat_conv4(cv::Mat* mat)
{// 矩形的左上角和右下角坐标cv::Point2f rect_start(50, 50);cv::Point2f rect_end(350, 350);// 矩形颜色 (B, G, R)cv::Scalar color(255, 0, 0); // 红色// 矩形线条粗细int thickness = 2;// 绘制矩形cv::rectangle(*mat, rect_start, rect_end, color, thickness);
}

Program.cs

using OpenCvSharp;
using OpenCvSharp.Internal;
using System.Runtime.InteropServices;
namespace opencv_csharp
{internal class Program{static void Main(string[] args){Console.WriteLine("Hello, World!");string image_path = "image.jpg";Mat mat4 = Cv2.ImRead(image_path);Methord.mat_conv4(mat1.CvPtr);Cv2.ImShow("image2", mat4);Cv2.WaitKey(0);}}class Methord {private const string dll_path = "C:\\Users\\lenovo\\Desktop\\test_opencv\\x64\\Release\\opencv_cpp.dll";[DllImport(dll_path, CharSet = CharSet.Unicode, CallingConvention = CallingConvention.Cdecl)]public static extern void mat_conv4(IntPtr mat);}
}

  其中,mat_conv.hmat_conv.cpp为C++项目文件,Program.cs文件为C#项目文件。

  在C++项目文件中, mat_conv4(IntPtr mat)方法主要是接受传入的Mat指针,并在传入的图片数据中绘制一个矩形,因为该操作是在原始数据上进行的操作,没有产生新的图像数据,所以不需要传出。

  在C#项目中,使用[DllImport]属性将动态链接库中的mat_conv4读取出来,其中传入数据为指针数据,所以直接使用IntPtr即可。然后该方法运行完后,我们直接查看该图像数据信息,查看是否已经被修改。

  如下图所示,程序在运行后,结果如下图所示,说明该接口测试成功,也证明了该方法是可行的。

请添加图片描述

5. 总结

  在项目中,我们结合OpenCvSharp源码,使用OpenCvSharp数据指针实现了在C#与C++之间传递图像数据。与传统的数据传递方式相比,该方式通过传递指针,通过指针的方式实现对同一块图像数据进行操作,避免了图像数据的来回转换,极大的节省了程序运行时间以及内存消耗。

  最后如果各位开发者在使用中有任何问题,欢迎大家与我联系。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/781124.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LabVIEW转动设备故障诊断系统

LabVIEW转动设备故障诊断系统 随着工业自动化技术的不断进步,转动设备在电力、化工、船舶等多个行业中扮演着越来越重要的角色。然而,这些设备在长期运行过程中难免会出现故障,如果不能及时诊断和处理,将会导致生产效率下降&…

微信小程序 第四节课

Page 注册小程序中的一个页面。接受一个 Object 类型参数,其指定页面的初始数据、生命周期回调、事件处理函数等。 参数 属性类型默认值必填说明dataObject页面的初始数据onLoadfunction生命周期回调—监听页面加载onShowfunction生命周期回调—监听页面显示onR…

创新指南|解构企业AI价值如何实现 – 从5个关键策略着手

这篇文章探讨了谁将从生成式人工智能(Generative AI)市场中创造价值。作者分析了生成式AI技术栈,包括计算基础设施、数据、基础模型、微调模型和应用程序,找出了有利可图的领域。基于Transformer架构的大型语言模型(LLM)如GPT-4成为这一领域的基础模型。微调这些通用模型以适应…

总结UDP协议各类知识点

前言 本篇博客博主将详细地介绍UDP有关知识点,坐好板凳发车啦~ 一.UDP特点 1.无连接 UDP传输的过程类似于发短信,知道对端的IP和端口号就直接进行传输,不需要建立连接; 2.不可靠传输 没有任何的安全机制,发送端发…

【AI】命令行调用大模型

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 【AI】命令行调用大模型引入正文初始化项目撰写脚本全局安装 成果展示 【AI】命令…

探索高效开发大屏可视化项目模板:es-big-screen

一、引言 在数据驱动的时代,大屏可视化已经成为了展示数据和信息的重要手段。本文将介绍一个基于 Vue 3、Echarts、高德地图和 Pinia 开发的大屏可视化项目模板——es-big-screen,它提供了丰富的功能,包括大屏适配、图表组件(Ech…

【Leetcode】top 100 贪心算法

基础知识补充 贪心算法:在对问题求解时,总是做到局部最优; 但局部最优并不总能获得整体最优解,但通常能获得近似最优解 题目 121 买卖股票的最佳时机 给定一个数组 prices ,它的第 i 个元素 prices[i] 表示一支给定股…

《Effective C++》《构造/析构/赋值运算——7、为多态基类声明virtual析构函数》

文章目录 1、term7:Declare destructors virtual in polymorphic base classes2、总结3、相关面试题3.1 析构函数在什么情况下声明为虚函数 4、参考 1、term7:Declare destructors virtual in polymorphic base classes 带有多态性质的基类应该声明一个virtual析构函数&#x…

突破编程_C++_STL教程( find 算法)

1 std::find 算法的概念与用途 std::find 是 C 标准库 <algorithm> 中的一个非常有用的算法。这个算法用于在一个范围内查找指定的元素&#xff0c;并返回该元素的迭代器。如果元素不存在于该范围内&#xff0c;则返回范围的尾迭代器。 std::find 的基本概念是遍历一个…

49 el-input 的 模型 视图 双向同步

前言 这里来看一下 el-input 这边的 数据 和 视图的双向绑定 最开始 我以为 这部分的处理应该是 vue 这边实现的, 但是跟踪调试了一下 发现这部分的处理是业务这边 自己实现的 这部分 还是有一些 值得记录的东西, 从这里 要去理解的而是 vue 这边从宏观的框架上面来说 帮我们…

前端网页之间传递参数

在多页面应用中&#xff0c;我们可能面临着前端页面之间传递参数的情况&#xff0c;在一个页面获取到一些参数信息后&#xff0c;到另一个页面去进行后续处理&#xff0c;需要将前一个页面得到的一些参数带到第二个页面。当参数较少时&#xff0c;可以在跳转第二个页面时通过se…

前端-深入探讨网络面试题

第一关 请求-文件、数据、连接 文件类的请求&#xff1a;加载HTMl、CSS 数据&#xff1a; ajax请求&#xff08;基于HTTP&#xff0c;HTTP基于TCP&#xff09;&#xff0c;如何建立连接的&#xff08;三次握手&#xff0c;为什么不是两次或者四次&#xff09;&#xff0c;sock…

《QT实用小工具·四》屏幕拾色器

1、概述 源码放在文章末尾 该项目实现了屏幕拾色器的功能&#xff0c;可以根据鼠标指定的位置识别当前位置的颜色 项目功能包含&#xff1a; 鼠标按下实时采集鼠标处的颜色。 实时显示颜色值。 支持16进制格式和rgb格式。 实时显示预览颜色。 根据背景色自动计算合适的前景色…

AIGC重塑金融:AI大模型驱动的金融变革与实践

&#x1f308;个人主页: Aileen_0v0 &#x1f525;热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 ​&#x1f4ab;个人格言:“没有罗马,那就自己创造罗马~” #mermaid-svg-tVrfBkGvUD0Qi13F {font-family:"trebuchet ms",verdana,arial,sans-serif;font-siz…

学习java第二十七天

Spring框架作为IOC容器的落地实现,提供了一个灵活的"插座",其他组件只需要简单的"插上"即可享受Spring提供的基础设施支持- ,并且结合Spring一起使用。 Spring的核心在于它的IOC容器设计,我们可以通过Spring应用程序上下文生命周期和Spring Bean的生命周期…

基于SpringBoot的“游戏分享网站”的设计与实现(源码+数据库+文档+PPT)

基于SpringBoot的“游戏分享网站”的设计与实现&#xff08;源码数据库文档PPT) 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;SpringBoot 工具&#xff1a;IDEA/Ecilpse、Navicat、Maven 系统展示 系统总体结构图 网站首页界面图 用户注册界面图 …

为什么用了索引,搜索速度还是很慢

索引列选择不当 1.假设有一个包含性别信息的表&#xff0c;其中有1000条记录&#xff0c;其中男性占 99%、女性占 1%。如果在性别列上创建索引&#xff0c;由于选择性太低&#xff0c;大部分查询都会涉及到表中的绝大多数行&#xff0c;这时候数据库优化器可能会认为全表扫描比…

[SpringCloud] Feign Client 的创建 (二) (五)

文章目录 1.自动配置FeignAutoConfiguration2.生成 Feign Client2.1 从Feign Client子容器获取组件2.2 Feign Client子容器的创建2.3 构建Feign Client实例 1.自动配置FeignAutoConfiguration spring-cloud-starter-openfeign 包含了 spring-cloud-openfeign-core FeignAutoCo…

HarmonyOS实战开发-如何实现一个支持加减乘除混合运算的计算器。

介绍 本篇Codelab基于基础组件、容器组件&#xff0c;实现一个支持加减乘除混合运算的计算器。 说明&#xff1a; 由于数字都是双精度浮点数&#xff0c;在计算机中是二进制存储数据的&#xff0c;因此小数和非安全整数&#xff08;超过整数的安全范围[-Math.pow(2, 53)&#…

【详解】运算放大器工作原理及其在信号处理中的核心作用

什么是运算放大器 运算放大器&#xff08;简称“运放”&#xff09;是一种放大倍数非常高的电路单元。在实际电路中&#xff0c;它常常与反馈网络一起组成一定的功能模块。它是一种带有特殊耦合电路和反馈的放大器。输出信号可以是输入信号的加法、减法、微分和积分等数学运算…