C++实现YOLOP

C++实现YOLOP

一、简介

使用OpenCV部署全景驾驶感知网络YOLOP，可同时处理交通目标检测、可驾驶区域分割、车道线检测，三项视觉感知任务，依然是包含C++和Python两种版本的程序实现

onnx文件从百度云盘下载，链接：https://pan.baidu.com/s/1A_9cldUHeY9GUle_HO4Crg 提取码：mf1x

C++版本的主程序文件是main.cpp，Python版本的主程序文件是main.py。把onnx文件下载到主程序文件所在目录后，就可以运行程序了。文件夹images 里含有若干张测试图片，来自于bdd100k自动驾驶数据集。

本套程序是在华中科技大学视觉团队在最近发布的项目https://github.com/hustvl/YOLOP 的基础上做的一个opencv推理部署程序，本套程序只依赖opencv库就可以运行， 从而彻底摆脱对任何深度学习框架的依赖。如果程序运行出错，那很有可能是您安装的opencv版本低了，这时升级opencv版本就能正常运行的。

此外，在本套程序里，还有一个export_onnx.py文件，它是生成onnx文件的程序。不过，export_onnx.py文件不能本套程序目录内运行的， 假如您想了解如何生成.onnx文件，需要把export_onnx.py文件拷贝到https://github.com/hustvl/YOLOP 的主目录里之后，并且修改lib/models/common.py里的代码， 这时运行export_onnx.py就可以生成onnx文件了。在lib/models/common.py里修改哪些代码，可以参见原作者的csdn博客文章 https://blog.csdn.net/nihate/article/details/112731327

二、模块详解

2.1 创建一个类，配置相关参数

class YOLO
{
public:YOLO(string modelpath, float confThreshold, float nmsThreshold, float objThreshold);Mat detect(Mat& frame);
private:const float mean[3] = { 0.485, 0.456, 0.406 };const float std[3] = { 0.229, 0.224, 0.225 };const float anchors[3][6] = { {3,9,5,11,4,20}, {7,18,6,39,12,31},{19,50,38,81,68,157} };const float stride[3] = { 8.0, 16.0, 32.0 };const string classesFile = "../bdd100k.names";const int inpWidth = 640;const int inpHeight = 640;float confThreshold;float nmsThreshold;float objThreshold;const bool keep_ratio = true;vector<string> classes;Net net;Mat resize_image(Mat srcimg, int* newh, int* neww, int* top, int* left);void normalize(Mat& srcimg);void drawPred(int classId, float conf, int left, int top, int right, int bottom, Mat& frame);
};YOLO::YOLO(string modelpath, float confThreshold, float nmsThreshold, float objThreshold)
{this->confThreshold = confThreshold;this->nmsThreshold = nmsThreshold;this->objThreshold = objThreshold;ifstream ifs(this->classesFile.c_str());string line;while (getline(ifs, line)) this->classes.push_back(line);this->net = readNet(modelpath);
}

2.2 resize_image、normalize、drawPred、detect函数

Mat YOLO::resize_image(Mat srcimg, int* newh, int* neww, int* top, int* left)
{int srch = srcimg.rows, srcw = srcimg.cols;*newh = this->inpHeight;*neww = this->inpWidth;Mat dstimg;if (this->keep_ratio && srch != srcw){float hw_scale = (float)srch / srcw;if (hw_scale > 1){*newh = this->inpHeight;*neww = int(this->inpWidth / hw_scale);resize(srcimg, dstimg, Size(*neww, *newh), INTER_AREA);*left = int((this->inpWidth - *neww) * 0.5);copyMakeBorder(dstimg, dstimg, 0, 0, *left, this->inpWidth - *neww - *left, BORDER_CONSTANT, 0);}else{*newh = (int)this->inpHeight * hw_scale;*neww = this->inpWidth;resize(srcimg, dstimg, Size(*neww, *newh), INTER_AREA);*top = (int)(this->inpHeight - *newh) * 0.5;copyMakeBorder(dstimg, dstimg, *top, this->inpHeight - *newh - *top, 0, 0, BORDER_CONSTANT, 0);}}else{resize(srcimg, dstimg, Size(*neww, *newh), INTER_AREA);}return dstimg;
}void YOLO::normalize(Mat& img)
{img.convertTo(img, CV_32F);int i = 0, j = 0;const float scale = 1.0 / 255.0;for (i = 0; i < img.rows; i++){float* pdata = (float*)(img.data + i * img.step);for (j = 0; j < img.cols; j++){pdata[0] = (pdata[0] * scale - this->mean[0]) / this->std[0];pdata[1] = (pdata[1] * scale - this->mean[1]) / this->std[1];pdata[2] = (pdata[2] * scale - this->mean[2]) / this->std[2];pdata += 3;}}
}void YOLO::drawPred(int classId, float conf, int left, int top, int right, int bottom, Mat& frame)   // Draw the predicted bounding box
{//Draw a rectangle displaying the bounding boxrectangle(frame, Point(left, top), Point(right, bottom), Scalar(0, 0, 255), 2);//Get the label for the class name and its confidencestring label = format("%.2f", conf);label = this->classes[classId] + ":" + label;//Display the label at the top of the bounding boxint baseLine;Size labelSize = getTextSize(label, FONT_HERSHEY_SIMPLEX, 0.5, 1, &baseLine);top = max(top, labelSize.height);//rectangle(frame, Point(left, top - int(1.5 * labelSize.height)), Point(left + int(1.5 * labelSize.width), top + baseLine), Scalar(0, 255, 0), FILLED);putText(frame, label, Point(left, top), FONT_HERSHEY_SIMPLEX, 1, Scalar(0, 255, 0), 1);
}Mat YOLO::detect(Mat& srcimg)
{int newh = 0, neww = 0, padh = 0, padw = 0;Mat dstimg = this->resize_image(srcimg, &newh, &neww, &padh, &padw);this->normalize(dstimg);Mat blob = blobFromImage(dstimg);this->net.setInput(blob);vector<Mat> outs;this->net.forward(outs, this->net.getUnconnectedOutLayersNames());Mat outimg = srcimg.clone();float ratioh = (float)newh / srcimg.rows;float ratiow = (float)neww / srcimg.cols;int i = 0, j = 0, area = this->inpHeight*this->inpWidth;float* pdata_drive = (float*)outs[1].data;  ///drive area segmentfloat* pdata_lane_line = (float*)outs[2].data;  ///lane line segmentfor (i = 0; i < outimg.rows; i++){for (j = 0; j < outimg.cols; j++){const int x = int(j*ratiow) + padw;const int y = int(i*ratioh) + padh;if (pdata_drive[y * this->inpWidth + x] < pdata_drive[area + y * this->inpWidth + x]){outimg.at<Vec3b>(i, j)[0] = 0;outimg.at<Vec3b>(i, j)[1] = 255;outimg.at<Vec3b>(i, j)[2] = 0;}if (pdata_lane_line[y * this->inpWidth + x] < pdata_lane_line[area + y * this->inpWidth + x]){outimg.at<Vec3b>(i, j)[0] = 255;outimg.at<Vec3b>(i, j)[1] = 0;outimg.at<Vec3b>(i, j)[2] = 0;}}}/generate proposalsvector<int> classIds;vector<float> confidences;vector<Rect> boxes;ratioh = (float)srcimg.rows / newh;ratiow = (float)srcimg.cols / neww;int n = 0, q = 0, nout = this->classes.size() + 5, row_ind = 0;float* pdata = (float*)outs[0].data;for (n = 0; n < 3; n++)   ///�߶�{int num_grid_x = (int)(this->inpWidth / this->stride[n]);int num_grid_y = (int)(this->inpHeight / this->stride[n]);for (q = 0; q < 3; q++)    ///anchor��{const float anchor_w = this->anchors[n][q * 2];const float anchor_h = this->anchors[n][q * 2 + 1];for (i = 0; i < num_grid_y; i++){for (j = 0; j < num_grid_x; j++){const float box_score = pdata[4];if (box_score > this->objThreshold){Mat scores = outs[0].row(row_ind).colRange(5, outs[0].cols);Point classIdPoint;double max_class_socre;// Get the value and location of the maximum scoreminMaxLoc(scores, 0, &max_class_socre, 0, &classIdPoint);if (max_class_socre > this->confThreshold){float cx = (pdata[0] * 2.f - 0.5f + j) * this->stride[n];  ///cxfloat cy = (pdata[1] * 2.f - 0.5f + i) * this->stride[n];   ///cyfloat w = powf(pdata[2] * 2.f, 2.f) * anchor_w;   ///wfloat h = powf(pdata[3] * 2.f, 2.f) * anchor_h;  ///hint left = (cx - 0.5*w - padw)*ratiow;int top = (cy - 0.5*h - padh)*ratioh;   classIds.push_back(classIdPoint.x);confidences.push_back(max_class_socre * box_score);boxes.push_back(Rect(left, top, (int)(w*ratiow), (int)(h*ratioh)));}}row_ind++;pdata += nout;}}}}// Perform non maximum suppression to eliminate redundant overlapping boxes with// lower confidencesvector<int> indices;NMSBoxes(boxes, confidences, this->confThreshold, this->nmsThreshold, indices);for (size_t i = 0; i < indices.size(); ++i){int idx = indices[i];Rect box = boxes[idx];this->drawPred(classIds[idx], confidences[idx], box.x, box.y,box.x + box.width, box.y + box.height, outimg);}return outimg;
}

2.3 主函数初始化

int main()
{YOLO yolo_model("../yolop.onnx", 0.25, 0.45, 0.5);string imgpath = "../images/adb4871d-4d063244.jpg";Mat srcimg = imread(imgpath);Mat outimg = yolo_model.detect(srcimg);static const string kWinName = "Deep learning object detection in OpenCV";namedWindow(kWinName, WINDOW_NORMAL);imshow(kWinName, outimg);waitKey(0);destroyAllWindows();
}

三、结果展示

在这里插入图片描述

四、其他链接。

1、VS2019+OpenCV安装与配置教程
2、OpenCV入门【C++版】

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/56786.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

＜C++＞ STL_deque

＜C++＞ STL_deque

<c> STL_deque 1.deque的使用 deque(双端队列)&#xff1a;是一种双开口的"连续"空间的数据结构&#xff0c;双开口的含义是&#xff1a;可以在头尾两端进行插入和 删除操作&#xff0c;且时间复杂度为O(1)&#xff0c;与vector比较&#xff0c;头插效率高&a…
阅读更多...
一生一芯9——ubuntu22.04安装valgrind

一生一芯9——ubuntu22.04安装valgrind

这里安装的valgrind版本是3.19.0 下载安装包 在选定的目录下打开终端&#xff0c;输入以下指令 wget https://sourceware.org/pub/valgrind/valgrind-3.19.0.tar.bz2直至下载完成 解压安装包 输入下面指令解压安装包 tar -xvf valgrind-3.19.0.tar.bz2.tar.bz2注&#xf…
阅读更多...
Keepalived+Lvs(dr)调度器主备配置小实验

Keepalived+Lvs(dr)调度器主备配置小实验

目录 前言 一、实验拓扑图 二、配置LVS&#xff08;dr&#xff09;模式 三、配置调配器热备 四、测试 总结 前言 Keepalived和LVS&#xff08;Linux Virtual Server&#xff09;是两个常用的开源软件&#xff0c;通常结合使用以提供高可用性和负载均衡的解决方案。 Keepalive…
阅读更多...
身为程序员，你有哪些提高写代码效率的工具？

身为程序员，你有哪些提高写代码效率的工具？

首先&#xff0c;每个程序员都是会利用工具的人&#xff0c;也有自己囊里私藏的好物。独乐乐不如众乐乐&#xff0c;今天笔者整理了3个辅助我们写代码的黑科技&#xff0c;仅供参考。如果你有更好的工具&#xff0c;欢迎评论区分享。 1、Google/Stackoverflow——搜索解决方案的…
阅读更多...
【运维】linux安装oracle客户端、安装mysql

【运维】linux安装oracle客户端、安装mysql

文章目录 一. 下载二. 配置1. 配置环境变量2. 配置tnsnames.ora文件 三. 测试1. 链接语法2. 连接测试 四. 通过rpm安装mysql 一. 下载 下载地址 基础包 连接工具 二. 配置 上传、解压、配置环境变量 这里安装在/data01目录下 unzip instantclient-sqlplus-linux.x64-19.2…
阅读更多...
Spring Boot(Vue3+ElementPlus+Axios+MyBatisPlus+Spring Boot 前后端分离)【三】

Spring Boot(Vue3+ElementPlus+Axios+MyBatisPlus+Spring Boot 前后端分离)【三】

&#x1f600;前言 本篇博文是关于Spring Boot(Vue3ElementPlusAxiosMyBatisPlusSpring Boot 前后端分离)【三】的分享&#xff0c;希望你能够喜欢 &#x1f3e0;个人主页&#xff1a;晨犀主页 &#x1f9d1;个人简介&#xff1a;大家好&#xff0c;我是晨犀&#xff0c;希望我…
阅读更多...
keepalived+lvs（DR）

keepalived+lvs（DR）

目录 一、作用 二、安装 1、在192.168.115.3 和192.168.115.4 上安装ipvs和keepalived&#xff1a; 2、配置keepalived 3、查看lvs节点状态 4、web节点配置 5、在web节点上调整ARP参数 6、配置虚拟IP地址与添加回环路由 7、配置nginx网页文档 8、启动服务 9、测试 一…
阅读更多...
上位机采集8通道模拟量模块数据

上位机采集8通道模拟量模块数据

模拟量模块和上位机的配合使用可以实现对模拟量数据的采集、传输和处理。下面是它们配合使用的一般步骤&#xff1a;1. 连接模拟量模块&#xff1a;将模拟量模块与上位机进行连接。这通常涉及将模拟量模块的输入通道与被监测的模拟信号源连接起来&#xff0c;如传感器、变送器等…
阅读更多...
14. Docker中实现CI和CD

14. Docker中实现CI和CD

目录 1、前言 2、什么是CI/CD 3、部署Jenkins 3.1、下载Jenkins 3.2、启动Jenkins 3.3、访问Jenkins页面 4、Jenkins部署一个应用 5、Jenkins实现Docker应用的持续集成和部署 5.1、创建Dockerfile 5.2、集成Jenkins和Docker 6、小结 1、前言 持续集成(CI/CD)是一种…
阅读更多...
18-使用钩子函数判断用户登录权限-登录前缀

18-使用钩子函数判断用户登录权限-登录前缀

钩子函数的两种应用: (1). 应用在app上 before_first_request before_request after_request teardown_request (2). 应用在蓝图上 before_app_first_request #只会在第一次请求执行,往后就不执行, (待定,此属性没调试通过) before_app_request # 每次请求都会执行一次(重点…
阅读更多...
【Three.js + Vue 构建三维地球-Part One】

【Three.js + Vue 构建三维地球-Part One】

Three.js Vue 构建三维地球-Part One Vue 初始化部分Vue-cli 安装初始化 Vue 项目调整目录结构 Three.js 简介Three.js 安装与开始使用 实习的第一个任务是完成一个三维地球的首屏搭建&#xff0c;看了很多的案例&#xff0c;也尝试了用 Echarts 3D地球的模型进行构建&#xf…
阅读更多...
设计模式中的关系

设计模式中的关系

文章目录 一、依赖概念 二&#xff0c;关联概念 三、聚合概念 四、组合概念 五、实现概念 六、继承概念 图总结整体总结 一、依赖 概念 依赖是一种临时使用关系&#xff0c;代码层体现为作为参数。 具体体现&#xff1a;依赖者调用被依赖者的局部变量、参数、静态方法&#…
阅读更多...
docker项目实战

docker项目实战

目录 1、使用mysql:5.6和 owncloud 镜像&#xff0c;构建一个个人网盘。 1&#xff09;拉取mysql:5.6和owncloud镜像 2&#xff09;后台运行容器 3&#xff09;通过ip:端口的方式访问owncloud 2、安装搭建私有仓库 Harbor 1&#xff09;首先准备所需包 2&#xff09;安装h…
阅读更多...
Lua与C++交互（一）————堆栈

Lua与C++交互（一）————堆栈

Lua与C交互&#xff08;一&#xff09;————堆栈 Lua虚拟机 什么是Lua虚拟机 Lua本身是用C语言实现的&#xff0c;它是跨平台语言&#xff0c;得益于它本身的Lua虚拟机。 虚拟机相对于物理机&#xff0c;借助于操作系统对物理机器&#xff08;CPU等硬件&#xff09;的一…
阅读更多...
HTML番外篇(四)-HTML5新增元素-CSS常见函数-理解浏览器前缀-BFC

HTML番外篇(四)-HTML5新增元素-CSS常见函数-理解浏览器前缀-BFC

一、HTML5新增元素 1.HTML5语义化元素 在HMTL5之前&#xff0c;我们的网站分布层级通常包括哪些部分呢&#xff1f; header、nav、main、footer ◼ 但是这样做有一个弊端&#xff1a; 我们往往过多的使用div, 通过id或class来区分元素&#xff1b;对于浏览器来说这些元素不…
阅读更多...
雅思作文复习

雅思作文复习

目录 我使用的词汇&#xff1a; 上升&#xff1a; 下降&#xff1a; 波动&#xff1a; 保持&#xff1a; 幅度 大变化&#xff1a; 小变化&#xff1a; 雅思评价标准改变 小作文一般花费20分钟&#xff0c;我觉得自己能在18分钟解决是最好 考生在雅思考试中的小作文&a…
阅读更多...
嵌入式系统存储体系

嵌入式系统存储体系

一、存储系统概述 主要分为三种&#xff1a;高速缓存&#xff08;cache&#xff09;、主存和外存。 二、高速缓存Cache 高速缓冲存储器中存放的是当前使用得最多得程序代码和数据&#xff0c;即主存中部分内容的副本&#xff0c;其本身无自己的地址空间。在嵌入式系统中Cac…
阅读更多...
别在说自己不知道docker了，全文通俗易懂的给你说明白docker的基础与底层原理

别在说自己不知道docker了，全文通俗易懂的给你说明白docker的基础与底层原理

docker介绍 Docker 是一个开源的应用容器引擎&#xff0c;基于Go语言进行开发实现并遵从Apache2.0 协议开源&#xff0c;基于 Linux 内核的 cgroup&#xff0c;namespace&#xff0c;以及 OverlayFS 类的 Union FS 等技术&#xff0c;对进程进行封装隔离&#xff0c;属于 操作…
阅读更多...
Redis.conf详解

Redis.conf详解

Redis.conf详解 配置文件unit单位对大小写不敏感 包含 网络 bind 127.0.0.1 # 绑定的ip protected-mode yes # 保护模式 port 6379 # 端口设置通用 GENERAL daemonize yes # 以守护进程的方式运行 默认为no pidfile /var/run/redis_6379.pid #如果以后台的方式运行&#xff…
阅读更多...
python+django+mysql旅游景点推荐系统-前后端分离（源码+文档）

python+django+mysql旅游景点推荐系统-前后端分离（源码+文档）

系统主要采用Python开发技术和MySQL数据库开发技术以及基于OpenCV的图像识别。系统主要包括系统首页、个人中心、用户管理、景点信息管理、景点类型管理、景点门票管理、在线反馈、系统管理等功能&#xff0c;从而实现智能化的旅游景点推荐方式&#xff0c;提高旅游景点推荐的效…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023