RT-DETR+Flask实现目标检测推理案例

今天,带大家利用RT-DETR(我们可以换成任意一个模型)+Flask来实现一个目标检测平台小案例,其实现效果如下:

目标检测案例

这个案例很简单,就是让我们上传一张图像,随后选择一下置信度,即可检测出图像中的目标,那么具体该如何实现呢?

RT-DETR模型推理

在先前的学习过程中,博主对RT-DETR进行来了简要的介绍,作为百度提出的实时性目标检测模型,其无论是速度还是精度均取得了较为理想的效果,今天则主要介绍一下RT-DETR的推理过程,与先前使用DETR中使用pth权重与网络结构相结合的推理方式不同,RT-DETR中使用的是onnx这种权重文件,因此,我们需要先对onnx文件进行一个简单了解:
在这里插入图片描述

ONNX模型文件

import onnx
# 加载模型
model = onnx.load('onnx_model.onnx')
# 检查模型格式是否完整及正确
onnx.checker.check_model(model)
# 获取输出层,包含层名称、维度信息
output = self.model.graph.output
print(output)

在原本的DETR类目标检测算法中,推理是采用权重文件与模型结构代码相结合的方式,而在RT-DETR中,则采用onnx模型文件来进行推理,即只需要该模型文件即可。

首先是将pth文件与模型结构进行匹配,从而导出onnx模型文件

"""by lyuwenyu
"""import os 
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), '..'))import argparse
import numpy as np from src.core import YAMLConfigimport torch
import torch.nn as nn def main(args, ):"""main"""cfg = YAMLConfig(args.config, resume=args.resume)if args.resume:checkpoint = torch.load(args.resume, map_location='cpu') if 'ema' in checkpoint:state = checkpoint['ema']['module']else:state = checkpoint['model']else:raise AttributeError('only support resume to load model.state_dict by now.')# NOTE load train mode state -> convert to deploy modecfg.model.load_state_dict(state)class Model(nn.Module):def __init__(self, ) -> None:super().__init__()self.model = cfg.model.deploy()self.postprocessor = cfg.postprocessor.deploy()print(self.postprocessor.deploy_mode)def forward(self, images, orig_target_sizes):outputs = self.model(images)return self.postprocessor(outputs, orig_target_sizes)model = Model()dynamic_axes = {'images': {0: 'N', },'orig_target_sizes': {0: 'N'}}data = torch.rand(1, 3, 640, 640)size = torch.tensor([[640, 640]])torch.onnx.export(model, (data, size), args.file_name,input_names=['images', 'orig_target_sizes'],output_names=['labels', 'boxes', 'scores'],dynamic_axes=dynamic_axes,opset_version=16, verbose=False)if args.check:import onnxonnx_model = onnx.load(args.file_name)onnx.checker.check_model(onnx_model)print('Check export onnx model done...')if args.simplify:import onnxsimdynamic = True input_shapes = {'images': data.shape, 'orig_target_sizes': size.shape} if dynamic else Noneonnx_model_simplify, check = onnxsim.simplify(args.file_name, input_shapes=input_shapes, dynamic_input_shape=dynamic)onnx.save(onnx_model_simplify, args.file_name)print(f'Simplify onnx model {check}...')
if __name__ == '__main__':parser = argparse.ArgumentParser()parser.add_argument('--config', '-c',  default="D:\graduate\programs\RT-DETR-main\RT-DETR-main//rtdetr_pytorch\configs/rtdetr/rtdetr_r18vd_6x_coco.yml",type=str, )parser.add_argument('--resume', '-r', default="D:\graduate\programs\RT-DETR-main\RT-DETR-main/rtdetr_pytorch/tools\output/rtdetr_r18vd_6x_coco\checkpoint0024.pth",type=str, )parser.add_argument('--file-name', '-f', type=str, default='model.onnx')parser.add_argument('--check',  action='store_true', default=False,)parser.add_argument('--simplify',  action='store_true', default=False,)args = parser.parse_args()main(args)

随后,便是利用onnx模型文件进行目标检测推理过程了
onnx也有自己的一套流程:

onnx前向InferenceSession的使用

关于onnx的前向推理,onnx使用了onnxruntime计算引擎。
onnx runtime是一个用于onnx模型的推理引擎。微软联合Facebook等在2017年搞了个深度学习以及机器学习模型的格式标准–ONNX,顺路提供了一个专门用于ONNX模型推理的引擎(onnxruntime)。

import onnxruntime
# 创建一个InferenceSession的实例,并将模型的地址传递给该实例
sess = onnxruntime.InferenceSession('onnxmodel.onnx')
# 调用实例sess的润方法进行推理
outputs = sess.run(output_layers_name, {input_layers_name: x})

推理详细代码

推理代码如下:

import torch
import onnxruntime as ort
from PIL import Image, ImageDraw
from torchvision.transforms import ToTensorif __name__ == "__main__":##################classes = ['car','truck',"bus"]################### print(onnx.helper.printable_graph(mm.graph))#############img_path = "1.jpg"#############im = Image.open(img_path).convert('RGB')im = im.resize((640, 640))im_data = ToTensor()(im)[None]print(im_data.shape)size = torch.tensor([[640, 640]])sess = ort.InferenceSession("model.onnx")import timestart = time.time()output = sess.run(output_names=['labels', 'boxes', 'scores'],#output_names=None,input_feed={'images': im_data.data.numpy(), "orig_target_sizes": size.data.numpy()})end = time.time()fps = 1.0 / (end - start)print(fps)# print(type(output))# print([out.shape for out in output])labels, boxes, scores = outputdraw = ImageDraw.Draw(im)thrh = 0.6for i in range(im_data.shape[0]):scr = scores[i]lab = labels[i][scr > thrh]box = boxes[i][scr > thrh]print(i, sum(scr > thrh))#print(lab)print(f'box:{box}')for l, b in zip(lab, box):draw.rectangle(list(b), outline='red',)print(l.item())draw.text((b[0], b[1] - 10), text=str(classes[l.item()]), fill='blue', )#############im.save('2.jpg')#############

前端代码

前端代码包含两部分,一个是上传页面,一个是显示页面

上传页面如下:

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="initial-scale=1.0, maximum-scale=1.0, user-scalable=no" /><title></title><script src="http://www.jq22.com/jquery/jquery-1.10.2.js"></script><style>#addCommodityIndex {text-align: center;width: 300px;height: 340px;position: absolute;left: 50%;top: 50%;margin: -200px 0 0 -200px;border: solid #ccc 1px;padding: 35px;}#imghead {cursor: pointer;}.btn {width: 100%;height: 40px;text-align: center;}</style><link rel="stylesheet" href="../static/css/bootstrap.min.css"  crossorigin="anonymous">
</head><body><div id="addCommodityIndex"><h2>目标检测</h2><div class="form-group row"><form id="upload"  action="/upload" enctype="multipart/form-data" method="POST"><img src=""><div class="form-group row"><label>上传图像</label><input type="file" class="form-control"  name='file'></div><div class="form-group row"><label>选择置信度</label><select class="form-control" name="score" id="exampleFormControlSelect1"><option value="0.5">0.5</option><option value="0.6">0.6</option><option value="0.7">0.7</option><option value="0.8">0.8</option><option value="0.9">0.9</option></select></div><div class="form-group row"><div class="btn"><input type="submit" class="btn btn-success" value="提交图像" /></div></div></form></div></div></body>
</html>

显示页面:

<!DOCTYPE html>
<html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="initial-scale=1.0, maximum-scale=1.0, user-scalable=no" /><title></title><script src="http://www.jq22.com/jquery/jquery-1.10.2.js"></script><style>#addCommodityIndex {text-align: center;position: absolute;left: 40%;top: 50%;margin: -200px 0 0 -200px;border: solid #ccc 1px;}#imghead {cursor: pointer;}.result {width: 100%;height: 100%;text-align: center;}</style><link rel="stylesheet" href="../static/css/bootstrap.min.css"  crossorigin="anonymous">
</head><body><div id="addCommodityIndex">
<div class="card mb-3" style="max-width: 680px;"><div class="row no-gutters"><div class="col-md-5"><img src="../static/img/result.jpg" class="result"></div><div class="col-md-5"><div class="card-body"><h5 class="card-title">检测结果</h5><p class="card-text">目标数量:{{num}}</p><p class="card-text">检测速度:{{fps}}/</p><a  href="/home" class="btn btn-success">继续提交</a></div></div></div>
</div>
</div>
</body>
</html>

Flask框架代码:

# -*- coding: utf-8 -*-
from flask import Flask,request,render_template
import json
import os
import time
app = Flask(__name__)
import infer
@app.route('/home',methods=['GET'])
def home():return render_template('upload.html')@app.route('/upload',methods=['GET','POST'])
def upload():if request.method == 'POST':f = request.files['file'] #获取数据流rootPath = os.path.dirname(os.path.abspath(__file__)) #根目录路径#创建存储文件的文件夹,使用时间戳防止重名覆盖file_path = 'static/upload/' + str(int(time.time()))absolute_path = os.path.join(rootPath,file_path).replace('\\','/') #存储文件的绝对路径,window路径显示\\要转化/if not os.path.exists(absolute_path): #不存在改目录则会自动创建os.makedirs(absolute_path)save_file_name = os.path.join(absolute_path,f.filename).replace('\\','/') #文件存储路径(包含文件名)f.save(save_file_name)score=request.values.to_dict().get("score")num,fps=infer.inference(save_file_name,score)#return json.dumps({'code':200,'url':url_path},ensure_ascii=False)return render_template("show.html",num=num,fps=fps)app.run(port='5000',debug=True)

上述项目博主已经上传到github上

git init
git add README.md
git commit -m "first commit"
git branch -M main
git remote add origin https://github.com/pengxiang1998/rt-detr.git
git push -u origin main

项目地址

在使用onnx时,安装了onnxruntime后,出现了下面的错误:

ImportError: cannot import name 'create_and_register_allocator_v2' from 'onnxruntime.capi._pybind_state'

这是由于onnxruntime-gpu版本与CUDA、CuDNN版本不匹配导致的,可以查看下面的网址来查看匹配版本

https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html

在这里插入图片描述
随后又出现错误:

> This ORT build has ['TensorrtExecutionProvider',
> 'CUDAExecutionProvider', 'CPUExecutionProvider'] enabled. Since ORT
> 1.9, you are required to explicitly set the providers parameter when instantiating InferenceSession. For example,
> onnxruntime.InferenceSession(...,
> providers=['TensorrtExecutionProvider',

这是由于InferenceSession中没有提供对应的provider,修改代码如下:

if torch.cuda.is_available():print("GPU")sess = ort.InferenceSession("model.onnx", None, providers=["CUDAExecutionProvider"])else:print("CPU")sess= ort.InferenceSession("model.onnx", None)

随后运行,发现安装了onnxruntime-gpu后的速度竟然满了下来,fps仅为0.2,而原本使用onnxruntime的fps则为7左右,这到底是怎么回事呢?

在这里插入图片描述

YOLO集成推理

而在YOLO集成的RT-DETR项目中,训练得到的权重 文件为.pt,在推理时需要与RT-DETR搭配使用,从而实现推理过程:
需要注意的是,由于YOLO里面集成了多种模型,因此为了具有适配性,其代码都具有通用性

from ultralytics.models import RTDETR
if __name__ == '__main__':model=RTDETR("weights/best.pt")model.predict(source="images/1.mp4",save=True,conf=0.6)

随后执行predict,代码如下:

def predict(self,source: Union[str, Path, int, list, tuple, np.ndarray, torch.Tensor] = None,stream: bool = False,predictor=None,**kwargs,) -> list:if source is None:source = ASSETSLOGGER.warning(f"WARNING ⚠️ 'source' is missing. Using 'source={source}'.")is_cli = (ARGV[0].endswith("yolo") or ARGV[0].endswith("ultralytics")) and any(x in ARGV for x in ("predict", "track", "mode=predict", "mode=track"))custom = {"conf": 0.25, "batch": 1, "save": is_cli, "mode": "predict"}  # method defaultsargs = {**self.overrides, **custom, **kwargs}  # highest priority args on the rightprompts = args.pop("prompts", None)  # for SAM-type modelsif not self.predictor:self.predictor = predictor or self._smart_load("predictor")(overrides=args, _callbacks=self.callbacks)self.predictor.setup_model(model=self.model, verbose=is_cli)else:  # only update args if predictor is already setupself.predictor.args = get_cfg(self.predictor.args, args)if "project" in args or "name" in args:self.predictor.save_dir = get_save_dir(self.predictor.args)if prompts and hasattr(self.predictor, "set_prompts"):  # for SAM-type modelsself.predictor.set_prompts(prompts)return self.predictor.predict_cli(source=source) if is_cli else self.predictor(source=source, stream=stream)

这部分代码在功能上具有复用性,因此在理解上存在一定难度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/46367.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

GPT LangChain experimental agent - allow dangerous code

题意&#xff1a;GPT LangChain 实验性代理 - 允许危险代码 问题背景&#xff1a; Im creating a chatbot in VS Code where it will receive csv file through a prompt on Streamlit interface. However from the moment that file is loaded, it is showing a message with…

激活pytorch遇到报错usage: conda-script.py [-h] [--no-plugins] [-V] COMMAND ...

问题 今天初次尝试在pycharm上创建与激活虚拟环境&#xff0c;创建结束后&#xff0c;使用命令conda activate pytorch激活虚拟环境时出现以下报错&#xff1a; usage: conda-script.py [-h] [–no-plugins] [-V] COMMAND … conda-script.py: error: argument COMMAND: inval…

Selenium原理深度解析

在自动化测试领域&#xff0c;Selenium无疑是最受欢迎和广泛使用的工具之一。它支持多种浏览器和操作系统&#xff0c;为开发人员和测试人员提供了强大的自动化测试解决方案。本文将深入探讨Selenium的工作原理&#xff0c;包括其架构、核心组件、执行流程以及它在自动化测试中…

独立开发者系列(26)——域名与解析

域名&#xff08;英语&#xff1a;Domain Name&#xff09;&#xff0c;又称网域&#xff0c;是由一串用点分隔的名字组成的互联网上某一台计算机或计算机组的名称&#xff0c;用于在数据传输时对计算机的定位标识&#xff08;有时也指地理位置&#xff09;。 由于IP地址不方便…

postMessageXss续2

原文地址如下:https://research.securitum.com/art-of-bug-bounty-a-way-from-js-file-analysis-to-xss/ 在19年我写了一篇文章&#xff0c;是基于postMessageXss漏洞的入门教学:https://www.cnblogs.com/piaomiaohongchen/p/14727871.html 这几天浏览mXss技术的时候&#xff…

车载音视频App框架设计

简介 统一播放器提供媒体播放一致性的交互和视觉体验&#xff0c;减少各个媒体应用和场景独自开发的重复工作量&#xff0c;实现媒体播放链路的一致性&#xff0c;减少碎片化的Bug。本文面向应用开发者介绍如何快速接入媒体播放器。 主要功能&#xff1a; 新设计的统一播放U…

新版本cesium编译1.103之后的版本

cesium1.1之后的版本文件结构域1.1之前的版本有了很大的差别&#xff0c;源码也全部移到了packages目录中。有很多依赖包没有写在根目录的package.json文件中。npm i 后直接编译会保持。 cesium源码git https://github.com/CesiumGS/cesium 1、添加缺少的包&#xff0c;缺少的…

4. 双端口ram设计

1. 设计要求 设计一个位宽8bit&#xff0c;地址深度为128&#xff0c;可以同时读写的双端口RAM 要求&#xff1a;模块名字为RAM_DUAL 输入端口&#xff1a;ADDR_W&#xff0c;ADDR_R CLK_R&#xff0c;CLK_W&#xff0c;RSTn ADDR_R[6:0]&#xff0c;ADDR_W[6:0] DATA_WR…

学习测试9-接口测试 2-抓包工具Fiddler

Fiddler 抓包工具的使用 怎么找接口信息&#xff0c;可以通过浏览器的开发者工具 Fiddler 是一个 HTTP 协议调试代理工具 File 菜单&#xff1a; Capture Traffic&#xff08;或 F12&#xff09;&#xff1a;是个开关&#xff0c;可以控制是否把 Fiddler 注册为系统代理。当把…

浅谈Open.Json.pickle.Os

一、Open函数使用 open函数是 Python 中用于打开文件的内置函数&#xff0c;它返回一个文件对象&#xff0c;该文件对象提供了对文件进行读写操作的方法。使用 open 函数时&#xff0c;通常需要指定至少两个参数&#xff1a;文件名&#xff08;file&#xff09;和模式&#xf…

【网络工具】Charles 介绍及环境配置

✍个人博客&#xff1a;Pandaconda-CSDN博客 &#x1f4e3;专栏地址&#xff1a;http://t.csdnimg.cn/iAmAo &#x1f4da;专栏简介&#xff1a;在这个专栏中&#xff0c;我将会整理一些工作或学习中用到的工具介绍给大家~ &#x1f4d8;Charles 系列其它文章&#xff1a;【网络…

Git操纵本地仓库和远程仓库

git是一个代码托管的平台&#xff0c;我们可以对我们的代码进行分支 推送提交 打标签等等操作&#xff0c;而且git使用过程中也是支持一些linux语言的 比如cd呀 touch mkdir啊等等等 git的具体安装过程就不再赘述 我个人认为 好多东西就是 代码也好 文字 文档 也好&…

【C语言】结构体,枚举,联合超详解!!!

目录 结构体 结构体声明 结构体成员的访问 结构体自引用 结构体变量定义&#xff0c;初始化&#xff0c;传参 结构体内存对齐 位段 枚举 联合(共用体) 结构体 结构体声明 1. 概念 1. 结构体是一些值的集合&#xff0c;这些值称为成员变量。 2. 结构体的每个成员可…

长难句打卡7.15

The trend was naturally most obvious in those areas of science based especially on a mathematical or laboratory training, and can be illustrated in terms of the development of geology in the United Kingdom 这一趋势自然在以数学或实验室训练为基础的科学领域里…

Unlink

Unlink 原理 我们在利用 unlink 所造成的漏洞时&#xff0c;其实就是对 chunk 进行内存布局&#xff0c;然后借助 unlink 操作来达成修改指针的效果。简单回顾一下 unlink 的目的与过程&#xff0c;其目的是把一个双向链表中的空闲块拿出来&#xff08;例如 free 时和目前物理…

Leetcode二分搜索法浅析

文章目录 1.二分搜索法1.1什么是二分搜索法&#xff1f;1.2解法思路 1.二分搜索法 题目原文&#xff1a; 给定一个 n 个元素有序的&#xff08;升序&#xff09;整型数组 nums 和一个目标值 target &#xff0c;写一个函数搜索 nums 中的 target&#xff0c;如果目标值存在返…

从PyTorch官方的一篇教程说开去(1 - 初心)

原文在此&#xff0c;喜欢读原汁原味的可以自行去跟&#xff0c;这是一个非常经典和有学习意义的例子&#xff0c;在此向老爷子们致敬 - https://pytorch.org/tutorials/intermediate/reinforcement_q_learning.html 开源文化好是好&#xff0c;但是“公地的悲哀”这点避不开…

高效运维:构建全面监控与自动化管理体系

在当今的数字化时代&#xff0c;运维管理已成为企业IT架构中不可或缺的一环。它不仅关乎系统的稳定运行&#xff0c;更直接影响到业务的响应速度、故障处理时间以及客户满意度等多个方面。因此&#xff0c;构建一套全面监控与自动化管理体系&#xff0c;对于提升企业运维效率、…

无人机之多旋翼与固定翼的区别

多旋翼无人机和固定翼无人机是无人机技术中的两种主要形式&#xff0c;各自有独特的优势和应用场景。 一、飞行原理与结构 多旋翼无人机&#xff1a;依靠多个旋翼产生升力来平衡飞行器的重力&#xff0c;通过改变每个旋翼的转速控制飞行器的姿态和平稳&#xff0c;使其能够垂…

PDF文件无法编辑?3步快速移除PDF编辑限制

正常来说,我们通过编辑器打开pdf文件后,就可以进行编辑了&#xff61;如果遇到了打开pdf却不能编辑的情况,那有可能是因为密码或是扫描件的原因&#xff61;小编整理了一些pdf文件无法编辑&#xff0c;以及pdf文件无法编辑时我们要如何处理的方法&#xff61;下面就随小编一起来…