史上最全AP/mAP通用代码实现(yolov5 txt版本)-下

提示:通用map指标框架代码介绍,直接使用yolov5数据格式,实现论文map指标计算代码解读

文章目录

  • 前言
    • ``该版本是直接使用yolo数据格式实现map计算,集成txt转json格式内容。``
  • 一、map模块整体认识
  • 二、map计算应用代码解读
  • 三、通用map计算指标代码解读
  • 四、基于yolov5使用通用map计算指标代码解读
    • 1、通用map指标计算模块整体结构说明
    • 2、参数构建
    • 3、数据准备
    • 4、模型初始化
    • 5、map指标计算函数(computer_main)代码解读
      • ①、获得图像相关路径及指标计算函数初始化
      • ②、获得类别
      • ③、生成gt的json文件
      • ④、图像预处理
      • ⑤、模型推理与后处理
      • ⑥、输出尺寸恢复
      • ⑦、生成预测json格式文件
      • ⑧、map指标计算
      • computer_main代码
    • 6、基于yolov5的map指标计算代码链接
  • 总结


前言

“史上最全AP、mAP详解与代码实现”文章(这里)已经介绍了map相关原理,且给出相应简单代码实现AP方法。然将AP计算融入模型求解AP结果,可能是一个较为复杂的工程量。我也在http://t.csdnimg.cn/j410Y博客分享基于模型构造一个即插即用计算map的相关模块代码,使用者只需复制我的模块,即可使用。然,之前方法是需要使用xml格式,依然对yolo模型不甚友好,我再此修改为txt方式,使用yolo本身数据实现small、medium、large等相关AP或AP0.75等结果预测。本文将直接介绍计算map核心代码简单列子,在此基础上介绍整个即插即用map计算模块使用方法与代码解读。

该版本是直接使用yolo数据格式实现map计算,集成txt转json格式内容。

一、map模块整体认识

本文就是一个detection_map即插即用计算map指标模块,可计算任何模型map指标,但有效计算需要稍微修改部分代码,我后面将介绍。基于此,我将整理一份yolo模型的通用map框架代码。那么,本文将介绍2个内容,其一为简单计算map的一个列子,其原理可参考这里博客;其二为基于yolo模型介绍通用map模块计算方法map_yolo。其整体架构如下图:
在这里插入图片描述
注:我使用yolov5-6.1模型,仅将detection_map放入该位置,即可使用。

二、map计算应用代码解读

实现mAP计算,我们需要有已知真实标签与模型预测标签,按照pcocotools的格式生成真实标签与预测标签的json格式,即可实现map指标计算。

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval
if __name__ == "__main__":cocoGt = COCO('coco_format.json')        #标注文件的路径及文件名,json文件形式cocoDt = cocoGt.loadRes('predect_format.json')  #自己的生成的结果的路径及文件名,json文件形式cocoEval = COCOeval(cocoGt, cocoDt, "bbox")cocoEval.evaluate()cocoEval.accumulate()cocoEval.summarize()

介于我在这篇文章这里已有详细介绍,我将不在介绍。我这里只是上传了相应json文件与代码文件供读者快速实现与理解这里。

三、通用map计算指标代码解读

介于我在这篇文章这里已有详细介绍,我将不在介绍,文章参考内容如下图:
在这里插入图片描述

四、基于yolov5使用通用map计算指标代码解读

这一部分也是本文最重要一部分,实际有关map原理内容或整体模块实现已在我推荐文章中,但推荐文章缺点是没有放置相应代码内容。而该部分就是直接给出基于yolov5模型调用map通用模块实现的相关代码或工程。

1、通用map指标计算模块整体结构说明

构建初始化模型,配置相关参数,直接使用computer_main函数集成,进行推理与map指标计算(整体如下图)。

在这里插入图片描述

2、参数构建

我构建模型相关参数,如数据文件夹、权重及推理相关参数,特别是conf阈值与iou阈值需要关注,在yolov5的val.py指标计算设置conf阈值=0.001、iou阈值=0.6,这个根据自己情况而定。

def parse_opt():parser = argparse.ArgumentParser()parser.add_argument('--source', type=str, default= r'E:\project\data\voc_data\voc2007_data\images\test', help='dataset.yaml path')parser.add_argument('--weights', nargs='+', type=str,default=r'E:\project\project_distilation\experiment\runs\train\yolo_x2s_iou-0.45_conf-0.85/weights/best.pt',help='model.pt path(s)')parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')parser.add_argument('--conf_thres', type=float, default=0.001, help='confidence threshold,default=0.001')parser.add_argument('--iou_thres', type=float, default=0.6, help='NMS IoU threshold,default=0.6')parser.add_argument('--imgsz', '--img', '--img_size', type=int, default=640, help='inference size (pixels)')parser.add_argument('--save_dir',  default='runs/val_map/exp', help='图像保存路径')parser.add_argument('--save_img', default=False, help='保存框图像查看')opt = parser.parse_args()return opt

3、数据准备

很简单,只要是yolov5格式数据即可,代码会自动将txt内容转为满足pycocotools计算map指标json的json格式。

4、模型初始化

yolov5模型初始化较为简单,直接使用yolov5自带的attempt_load方式初始化模型即可,如下代码:


def init_model(weights):model = attempt_load(weights, map_location=device)model = model.eval()return model

5、map指标计算函数(computer_main)代码解读

我大概描述该函数内容(按步骤说明):

①、获得图像相关路径及指标计算函数初始化

C = Computer_map()
img_root_lst = C.get_img_root_lst(opt.source)  # 获得图片绝对路径与图片产生image_id映射关系

②、获得类别

categories = model.names  
C.get_categories(categories)

③、生成gt的json文件

这个更简单了,和中篇文章不一样就体现在这里,是使用yolo本身txt格式转json,其代码如下:

C.yolov5txt2cocojson(img_root_lst,out_dir=None,save_img=False)

④、图像预处理

for img_path in img_root_lst:img0 = cv2.imread(img_path)img = letterbox(img0, img_size, stride=stride, auto=True)[0]img = img.transpose((2, 0, 1))[::-1]  # HWC to CHW, BGR to RGBim = np.ascontiguousarray(img)im = torch.from_numpy(im).to(device)im = im.float()  # uint8 to fp16/32im /= 255  # 0 - 255 to 0.0 - 1.0if len(im.shape) == 3:im = im[None]  # expand for batch dim

这里图像预处理是调用yolov5的letterbox函数。

⑤、模型推理与后处理

pred = model(im)[0]  
result = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=None,multi_label=True)
det = result[0]

这里仍然是调用yolov5模型与非极大值后处理函数。

⑥、输出尺寸恢复

if len(det)>0:det[:, :4] = scale_coords(im.shape[2:], det[:, :4], img0.shape).round()

这里也是调用scale_coords函数恢复预测的box到原图尺寸对应box。

⑦、生成预测json格式文件

det = det.cpu().numpy() if det.is_cuda else det.numpy()  # 处理为cuda上的数据或cpu转numpy格式
det = [[d[0],d[1],d[2],d[3],d[4], categories[int(d[5])] ] for d in det] # 给定名称name标签
# det 格式为列表[x1,y1,x2,y2,score,label],若无结果为空
img_name = C.get_strfile(img_path)
C.detect2json(det, img_name)

这里需要循环推理每个图像预测结果,生成对应满足pycocotools预测json文件格式内容。

当然,我做了是否保存预测图像模块,如果需要使用大致查看预测内容,建议conf与iou阈值试单调整,否则满图都是框。

 if opt.save_img:img=draw_bbox(img0,det)cv2.imwrite(os.path.join(opt.save_dir,img_name),img)

⑧、map指标计算

循环推理完所有图片,也意味预测json保存完毕,就直接使用gt与pred文件json,调用我集成好的函数,即可实现map指标计算,如下:

C.computer_map()  # 计算map

computer_main代码

这边我给出了类似yolov5保存最佳权重判断指标,具体整个代码如下:

def computer_main(opt, model):'''data_root:任何文件夹,但必须保证每个图片与对应xml必须放在同一个文件夹中model:模型,用于预测'''stride=32img_size=[opt.imgsz, opt.imgsz]C = Computer_map()img_root_lst = C.get_img_root_lst(opt.source)  # 获得图片绝对路径与图片产生image_id映射关系# 在self.coco_json中保存categories,便于产生coco_json和predetect_jsoncategories = model.names  # 可以给txt路径读取,或直接给列表  #*********************得到classes,需要更改的地方***********##C.get_categories(categories)C.yolov5txt2cocojson(img_root_lst,out_dir=None,save_img=False)# 产生coco_json格式# xml_root_lst = [name[:-3] + 'xml' for name in img_root_lst]# for xml_root in xml_root_lst: C.xml2cocojson(xml_root)  # 产生coco json 并保存到self.coco_json中if opt.save_img:build_dir(opt.save_dir)# 产生预测的jsonfor img_path in img_root_lst:img0 = cv2.imread(img_path)img = letterbox(img0, img_size, stride=stride, auto=True)[0]img = img.transpose((2, 0, 1))[::-1]  # HWC to CHW, BGR to RGBim = np.ascontiguousarray(img)print("图片原始尺寸:{}\t模型预测尺寸:{}".format(img0.shape,im.shape))im = torch.from_numpy(im).to(device)im = im.float()  # uint8 to fp16/32im /= 255  # 0 - 255 to 0.0 - 1.0if len(im.shape) == 3:im = im[None]  # expand for batch dimpred = model(im)[0]  ####**********************需要更改的地方***********************####result = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=None, multi_label=True)det = result[0]# result, classes = parse_result['result'], parse_result['classes']if len(det)>0:det[:, :4] = scale_coords(im.shape[2:], det[:, :4], img0.shape).round()det = det.cpu().numpy() if det.is_cuda else det.numpy()  # 处理为cuda上的数据或cpu转numpy格式det = [[d[0],d[1],d[2],d[3],d[4], categories[int(d[5])] ] for d in det] # 给定名称name标签# det 格式为列表[x1,y1,x2,y2,score,label],若无结果为空img_name = C.get_strfile(img_path)C.detect2json(det, img_name)if opt.save_img:img=draw_bbox(img0,det)cv2.imwrite(os.path.join(opt.save_dir,img_name),img)map_value = C.computer_map()  # 计算map,返回 [mAP@0.5:0.95, mAP@0.5, mAP@0.75, ... ]yolo_best = 0.9*map_value[0]+0.1*map_value[1]

6、基于yolov5的map指标计算代码链接

链接:https://pan.baidu.com/s/1z5tYuYsBtoD3zvipgDKaEA
提取码:map2
其结果如下:
在这里插入图片描述

总结

本文核心是介绍自己构建的map通用框架代码,为介绍该框架,我借助yolov5模型作为基准,一步步阐述如何使用map通用框架指标计算。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/730312.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

egg如何写单元测试

优秀的代码需要有单元测试进行质量保证,每个测试用例都给应用的稳定性提供了一层保障。 测试目录结构 我们约定 test 目录为存放所有测试脚本的目录,测试所使用到的 fixtures 和相关辅助脚本都应该放在此目录下。 测试文件的目录和我们需要测试的文件目…

Redis进阶(三):主从复制

为了解决单点问题,实现多服务器部署redis,有几种解决方案可以实现:主从复制,主从哨兵还有集群。 何为主从复制 简单来说有三个服务器分别部署了redis-server程序,选中一个服务器当作主节点,其他的就是从节…

机器学习笔记 计算机视觉中的测距任务常见技术路线

一、计算机视觉中的测距任务 测距是计算机视觉中的一项关键任务,涉及测量物体和相机之间的距离。这些信息可用于多种应用,包括机器人、自动驾驶汽车和增强现实。测距技术有很多种,包括主动式和被动式,每种技术都有自己的优点和局限性。主动测距技术,例如飞行时间、结构光和…

动态规划DP之背包问题3---多重背包问题

目录 DP分析: 优化: 二进制优化 例题: 01背包是每个物品只有一个,完全背包问题是每个物品有无限个。 那么多重背包问题就是 每个物品有有限个。 有 N 种物品和一个容量是 V 的背包。 第 i 种物品最多有 si 件,每件体…

Softmax 回归 + 损失函数 + 图片分类数据集【动手学深度学习v2】李沐动手学深度学习课程笔记

目录 Softmax回归 损失函数 图片分类数据集 Softmax回归从零开始实现 Softmax回归简洁实现 Softmax回归 回归和分类的区别 回归问题举例上节课的预测房价问题,分类问题就是对样本进行分类 回归和分类的具体区别 假设真实的类别为第i个类别(值为1&#x…

js【详解】event loop(事件循环/事件轮询)

event loop 是异步回调的实现原理 js 代码的执行过程 从前到后,一行一行执行如果某一行执行报错,则停止下面代码的执行先把同步代码执行完,再执行异步 event loop 图解 以下方代码为例: 第1步 将第 1 行代码放入调用栈 将要执行第…

JavaScript极速入门(2)

JQuery W3C标准给我们提供了一系列函数,让我们可以操作: 网页内容 网页结构 网页样式 但是原生的JavaScript提供的API操作DOM元素时,代码比较繁琐,冗长.我们学习使用JQuery来操作页面对象. JQuery是一个快速,简洁且功能丰富的JavaScript框架,于2006年发布.它封装JavaScript常…

Linux运维:实现光盘开机自动挂载、配置本地yum源教程

Linux运维:实现光盘开机自动挂载、配置本地yum源教程 一、光盘开机自动挂载1、检查光驱设备2、创建挂载点3、编辑/etc/fstab文件4、测试挂载 二、配置本地yum源(挂载光盘或ISO文件)1、挂载ISO文件2、创建YUM仓库配置文件3、清理YUM缓存并测试 💖The Begi…

【netty系列-02】深入理解socket本质和BIO底层实现

Netty系列整体栏目 内容链接地址【一】深入理解网络通信基本原理和tcp/ip协议https://zhenghuisheng.blog.csdn.net/article/details/136359640【二】深入理解Socket本质和BIOhttps://zhenghuisheng.blog.csdn.net/article/details/136549478 深入理解socket本质和bio底层实现 …

找出单身狗1,2

目录 1. 单身狗12. 单身狗2 1. 单身狗1 题目如下: 思路:一部分人可能会使用对数组排序,遍历数组的方式去找出只出现一次的数字,但这种方法的时间复杂度过高,有时候可能会不满足要求。 有一种十分简便的方法是使用异或…

DEAP:利用生理信号进行情绪分析的数据库【DEAP数据集】

文章目录 摘要引言刺激选择实验环境参与者步骤参与者自我评估 主观评价分析EEG频率与参与者评分之间的相关性单次试验分类结果 结论 点击下载原文 摘要 ● DEAP:用于分析人类情感状态的多模态数据集。 ● 32名参与者观看了40个一分钟长的音乐视频。 ● 参与者根据唤…

Programming Abstractions in C阅读笔记:p312-p326

《Programming Abstractions in C》学习第77天,p312-p326,总计15页,第7章完结。 一、技术总结 第7章主要讲算法分析——引入时间复杂度这一概念来评估算法的快慢。时间复杂度使用大O符号来表示。 第7章以排序算法为示例,包含&a…

[PTA] 分解质因子

输入一个正整数n(1≤n≤1e15),编程将其分解成若干个质因子(素数因子)积的形式。 输入格式: 任意给定一个正整数n(1≤n≤1e15)。 输出格式: 将输入的正整数分解成若干个质因子积的形式&#…

ubuntu 卸载miniconda3

一开始安装路径错了,需要重新安一次,就一起记录了。 前提是这种方式安装: ubuntu安装miniconda3管理python版本-CSDN博客 删除Miniconda的安装目录 这目录就是你选择安装的时候指定的,如果记不得了,可以这样查看 which conda 这…

数据库压力测试方法概述

一、前言 在前面的压力测试过程中,主要关注的是对接口以及服务器硬件性能进行压力测试,评估请求接口和硬件性能对服务的影响。但是对于多数Web应用来说,整个系统的瓶颈在于数据库。 原因很简单:Web应用中的其他因素,…

Chrome安装Axure插件

打开原型目录/resources/chrome,重命名axure-chrome-extension.crx,修改后缀为rar,axure-chrome-extension.rar 解压到axure-chrome-extension目录打开Chrome,更多工具->扩展程序,打开开发者模式,选择加…

结构体和malloc学习笔记

结构体学习: 为什么会出现结构体: 为了表示一些复杂的数据,而普通的基本类型变量无法满足要求; 定义: 结构体是用户根据实际需要自己定义的符合数类型; 如何使用结构体: //定义结构体 struc…

[C++]类和对象,explicit,static,友元,构造函数——喵喵要吃C嘎嘎4

希望你开心,希望你健康,希望你幸福,希望你点赞! 最后的最后,关注喵,关注喵,关注喵,大大会看到更多有趣的博客哦!!! 喵喵喵,你对我真的…

FineReport决策报表Excel导出数据不全解决办法

一、首先建立决策报表 决策报表不带参数导出办法(即没有参数面板) 普通决策报表导出(没有搜索面板) 如果决策报表带参数(即有搜索框),用上面的办法只能导出部分数据,数据不全 二、…

蓝色经典免费wordpress模板主题

蓝色经典配色的免费wordpress建站主题,万能的wordpress建站主题。 https://www.wpniu.com/themes/24.html