史上最全AP/mAP通用代码实现(yolov5 txt版本)-下

提示:通用map指标框架代码介绍,直接使用yolov5数据格式,实现论文map指标计算代码解读

文章目录

  • 前言
    • ``该版本是直接使用yolo数据格式实现map计算,集成txt转json格式内容。``
  • 一、map模块整体认识
  • 二、map计算应用代码解读
  • 三、通用map计算指标代码解读
  • 四、基于yolov5使用通用map计算指标代码解读
    • 1、通用map指标计算模块整体结构说明
    • 2、参数构建
    • 3、数据准备
    • 4、模型初始化
    • 5、map指标计算函数(computer_main)代码解读
      • ①、获得图像相关路径及指标计算函数初始化
      • ②、获得类别
      • ③、生成gt的json文件
      • ④、图像预处理
      • ⑤、模型推理与后处理
      • ⑥、输出尺寸恢复
      • ⑦、生成预测json格式文件
      • ⑧、map指标计算
      • computer_main代码
    • 6、基于yolov5的map指标计算代码链接
  • 总结


前言

“史上最全AP、mAP详解与代码实现”文章(这里)已经介绍了map相关原理,且给出相应简单代码实现AP方法。然将AP计算融入模型求解AP结果,可能是一个较为复杂的工程量。我也在http://t.csdnimg.cn/j410Y博客分享基于模型构造一个即插即用计算map的相关模块代码,使用者只需复制我的模块,即可使用。然,之前方法是需要使用xml格式,依然对yolo模型不甚友好,我再此修改为txt方式,使用yolo本身数据实现small、medium、large等相关AP或AP0.75等结果预测。本文将直接介绍计算map核心代码简单列子,在此基础上介绍整个即插即用map计算模块使用方法与代码解读。

该版本是直接使用yolo数据格式实现map计算,集成txt转json格式内容。

一、map模块整体认识

本文就是一个detection_map即插即用计算map指标模块,可计算任何模型map指标,但有效计算需要稍微修改部分代码,我后面将介绍。基于此,我将整理一份yolo模型的通用map框架代码。那么,本文将介绍2个内容,其一为简单计算map的一个列子,其原理可参考这里博客;其二为基于yolo模型介绍通用map模块计算方法map_yolo。其整体架构如下图:
在这里插入图片描述
注:我使用yolov5-6.1模型,仅将detection_map放入该位置,即可使用。

二、map计算应用代码解读

实现mAP计算,我们需要有已知真实标签与模型预测标签,按照pcocotools的格式生成真实标签与预测标签的json格式,即可实现map指标计算。

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval
if __name__ == "__main__":cocoGt = COCO('coco_format.json')        #标注文件的路径及文件名,json文件形式cocoDt = cocoGt.loadRes('predect_format.json')  #自己的生成的结果的路径及文件名,json文件形式cocoEval = COCOeval(cocoGt, cocoDt, "bbox")cocoEval.evaluate()cocoEval.accumulate()cocoEval.summarize()

介于我在这篇文章这里已有详细介绍,我将不在介绍。我这里只是上传了相应json文件与代码文件供读者快速实现与理解这里。

三、通用map计算指标代码解读

介于我在这篇文章这里已有详细介绍,我将不在介绍,文章参考内容如下图:
在这里插入图片描述

四、基于yolov5使用通用map计算指标代码解读

这一部分也是本文最重要一部分,实际有关map原理内容或整体模块实现已在我推荐文章中,但推荐文章缺点是没有放置相应代码内容。而该部分就是直接给出基于yolov5模型调用map通用模块实现的相关代码或工程。

1、通用map指标计算模块整体结构说明

构建初始化模型,配置相关参数,直接使用computer_main函数集成,进行推理与map指标计算(整体如下图)。

在这里插入图片描述

2、参数构建

我构建模型相关参数,如数据文件夹、权重及推理相关参数,特别是conf阈值与iou阈值需要关注,在yolov5的val.py指标计算设置conf阈值=0.001、iou阈值=0.6,这个根据自己情况而定。

def parse_opt():parser = argparse.ArgumentParser()parser.add_argument('--source', type=str, default= r'E:\project\data\voc_data\voc2007_data\images\test', help='dataset.yaml path')parser.add_argument('--weights', nargs='+', type=str,default=r'E:\project\project_distilation\experiment\runs\train\yolo_x2s_iou-0.45_conf-0.85/weights/best.pt',help='model.pt path(s)')parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')parser.add_argument('--conf_thres', type=float, default=0.001, help='confidence threshold,default=0.001')parser.add_argument('--iou_thres', type=float, default=0.6, help='NMS IoU threshold,default=0.6')parser.add_argument('--imgsz', '--img', '--img_size', type=int, default=640, help='inference size (pixels)')parser.add_argument('--save_dir',  default='runs/val_map/exp', help='图像保存路径')parser.add_argument('--save_img', default=False, help='保存框图像查看')opt = parser.parse_args()return opt

3、数据准备

很简单,只要是yolov5格式数据即可,代码会自动将txt内容转为满足pycocotools计算map指标json的json格式。

4、模型初始化

yolov5模型初始化较为简单,直接使用yolov5自带的attempt_load方式初始化模型即可,如下代码:


def init_model(weights):model = attempt_load(weights, map_location=device)model = model.eval()return model

5、map指标计算函数(computer_main)代码解读

我大概描述该函数内容(按步骤说明):

①、获得图像相关路径及指标计算函数初始化

C = Computer_map()
img_root_lst = C.get_img_root_lst(opt.source)  # 获得图片绝对路径与图片产生image_id映射关系

②、获得类别

categories = model.names  
C.get_categories(categories)

③、生成gt的json文件

这个更简单了,和中篇文章不一样就体现在这里,是使用yolo本身txt格式转json,其代码如下:

C.yolov5txt2cocojson(img_root_lst,out_dir=None,save_img=False)

④、图像预处理

for img_path in img_root_lst:img0 = cv2.imread(img_path)img = letterbox(img0, img_size, stride=stride, auto=True)[0]img = img.transpose((2, 0, 1))[::-1]  # HWC to CHW, BGR to RGBim = np.ascontiguousarray(img)im = torch.from_numpy(im).to(device)im = im.float()  # uint8 to fp16/32im /= 255  # 0 - 255 to 0.0 - 1.0if len(im.shape) == 3:im = im[None]  # expand for batch dim

这里图像预处理是调用yolov5的letterbox函数。

⑤、模型推理与后处理

pred = model(im)[0]  
result = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=None,multi_label=True)
det = result[0]

这里仍然是调用yolov5模型与非极大值后处理函数。

⑥、输出尺寸恢复

if len(det)>0:det[:, :4] = scale_coords(im.shape[2:], det[:, :4], img0.shape).round()

这里也是调用scale_coords函数恢复预测的box到原图尺寸对应box。

⑦、生成预测json格式文件

det = det.cpu().numpy() if det.is_cuda else det.numpy()  # 处理为cuda上的数据或cpu转numpy格式
det = [[d[0],d[1],d[2],d[3],d[4], categories[int(d[5])] ] for d in det] # 给定名称name标签
# det 格式为列表[x1,y1,x2,y2,score,label],若无结果为空
img_name = C.get_strfile(img_path)
C.detect2json(det, img_name)

这里需要循环推理每个图像预测结果,生成对应满足pycocotools预测json文件格式内容。

当然,我做了是否保存预测图像模块,如果需要使用大致查看预测内容,建议conf与iou阈值试单调整,否则满图都是框。

 if opt.save_img:img=draw_bbox(img0,det)cv2.imwrite(os.path.join(opt.save_dir,img_name),img)

⑧、map指标计算

循环推理完所有图片,也意味预测json保存完毕,就直接使用gt与pred文件json,调用我集成好的函数,即可实现map指标计算,如下:

C.computer_map()  # 计算map

computer_main代码

这边我给出了类似yolov5保存最佳权重判断指标,具体整个代码如下:

def computer_main(opt, model):'''data_root:任何文件夹,但必须保证每个图片与对应xml必须放在同一个文件夹中model:模型,用于预测'''stride=32img_size=[opt.imgsz, opt.imgsz]C = Computer_map()img_root_lst = C.get_img_root_lst(opt.source)  # 获得图片绝对路径与图片产生image_id映射关系# 在self.coco_json中保存categories,便于产生coco_json和predetect_jsoncategories = model.names  # 可以给txt路径读取,或直接给列表  #*********************得到classes,需要更改的地方***********##C.get_categories(categories)C.yolov5txt2cocojson(img_root_lst,out_dir=None,save_img=False)# 产生coco_json格式# xml_root_lst = [name[:-3] + 'xml' for name in img_root_lst]# for xml_root in xml_root_lst: C.xml2cocojson(xml_root)  # 产生coco json 并保存到self.coco_json中if opt.save_img:build_dir(opt.save_dir)# 产生预测的jsonfor img_path in img_root_lst:img0 = cv2.imread(img_path)img = letterbox(img0, img_size, stride=stride, auto=True)[0]img = img.transpose((2, 0, 1))[::-1]  # HWC to CHW, BGR to RGBim = np.ascontiguousarray(img)print("图片原始尺寸:{}\t模型预测尺寸:{}".format(img0.shape,im.shape))im = torch.from_numpy(im).to(device)im = im.float()  # uint8 to fp16/32im /= 255  # 0 - 255 to 0.0 - 1.0if len(im.shape) == 3:im = im[None]  # expand for batch dimpred = model(im)[0]  ####**********************需要更改的地方***********************####result = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=None, multi_label=True)det = result[0]# result, classes = parse_result['result'], parse_result['classes']if len(det)>0:det[:, :4] = scale_coords(im.shape[2:], det[:, :4], img0.shape).round()det = det.cpu().numpy() if det.is_cuda else det.numpy()  # 处理为cuda上的数据或cpu转numpy格式det = [[d[0],d[1],d[2],d[3],d[4], categories[int(d[5])] ] for d in det] # 给定名称name标签# det 格式为列表[x1,y1,x2,y2,score,label],若无结果为空img_name = C.get_strfile(img_path)C.detect2json(det, img_name)if opt.save_img:img=draw_bbox(img0,det)cv2.imwrite(os.path.join(opt.save_dir,img_name),img)map_value = C.computer_map()  # 计算map,返回 [mAP@0.5:0.95, mAP@0.5, mAP@0.75, ... ]yolo_best = 0.9*map_value[0]+0.1*map_value[1]

6、基于yolov5的map指标计算代码链接

链接:https://pan.baidu.com/s/1z5tYuYsBtoD3zvipgDKaEA
提取码:map2
其结果如下:
在这里插入图片描述

总结

本文核心是介绍自己构建的map通用框架代码,为介绍该框架,我借助yolov5模型作为基准,一步步阐述如何使用map通用框架指标计算。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/730312.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

项目实践《微信自动回复》

文章目录 一、前置接口一、打开微信二、监听微信信息三、截取聊天区域并提取关键字四、根据关键字自动回复五、基础版六、完整版 在我们的生活中,微信无疑是一个重要的社交工具。无论是工作还是社交,我们都离不开它。但是,随着繁忙的生活节奏…

egg如何写单元测试

优秀的代码需要有单元测试进行质量保证,每个测试用例都给应用的稳定性提供了一层保障。 测试目录结构 我们约定 test 目录为存放所有测试脚本的目录,测试所使用到的 fixtures 和相关辅助脚本都应该放在此目录下。 测试文件的目录和我们需要测试的文件目…

Redis进阶(三):主从复制

为了解决单点问题,实现多服务器部署redis,有几种解决方案可以实现:主从复制,主从哨兵还有集群。 何为主从复制 简单来说有三个服务器分别部署了redis-server程序,选中一个服务器当作主节点,其他的就是从节…

机器学习笔记 计算机视觉中的测距任务常见技术路线

一、计算机视觉中的测距任务 测距是计算机视觉中的一项关键任务,涉及测量物体和相机之间的距离。这些信息可用于多种应用,包括机器人、自动驾驶汽车和增强现实。测距技术有很多种,包括主动式和被动式,每种技术都有自己的优点和局限性。主动测距技术,例如飞行时间、结构光和…

动态规划DP之背包问题3---多重背包问题

目录 DP分析: 优化: 二进制优化 例题: 01背包是每个物品只有一个,完全背包问题是每个物品有无限个。 那么多重背包问题就是 每个物品有有限个。 有 N 种物品和一个容量是 V 的背包。 第 i 种物品最多有 si 件,每件体…

Softmax 回归 + 损失函数 + 图片分类数据集【动手学深度学习v2】李沐动手学深度学习课程笔记

目录 Softmax回归 损失函数 图片分类数据集 Softmax回归从零开始实现 Softmax回归简洁实现 Softmax回归 回归和分类的区别 回归问题举例上节课的预测房价问题,分类问题就是对样本进行分类 回归和分类的具体区别 假设真实的类别为第i个类别(值为1&#x…

Restful风格接口简介

参考资料: 个人感觉最实用的Restful风格简介 Restful简介: Restful风格具有如下特点: URL要面向资源,使用和资源相关的名词要在URL中体现版本号根据Http不同的方法,进行不同类型的资源操作(如用Get表示查…

js【详解】event loop(事件循环/事件轮询)

event loop 是异步回调的实现原理 js 代码的执行过程 从前到后,一行一行执行如果某一行执行报错,则停止下面代码的执行先把同步代码执行完,再执行异步 event loop 图解 以下方代码为例: 第1步 将第 1 行代码放入调用栈 将要执行第…

python数据分析numpy基础之布尔数组方法sum和any和all

1 python数据分析numpy基础之布尔数组方法sum和any和all 在前面文章介绍的sum、mean、std等统计方法中,布尔值True被转为1,False被转为0。而any和all,则将非0转为True,0转为False。 1.1 sum() python的numpy库的sum()函数&…

vue element plus Icon 图标

Element Plus 提供了一套常用的图标集合。 使用图标# 如果你想像用例一样直接使用,你需要全局注册组件,才能够直接在项目里使用。 如若需要查看所有可用的 SVG 图标请查阅 element-plus/icons-vue1.xelement-plus/icons-vuelatest 和有关 Icon Collect…

C# 生成有序Guid

C# 生成有序Guid public enum SequentialGuidType {/// <summary>/// 用于 MySql 和 PostgreSql./// 当使用 <see cref"Guid.ToString()" /> 方法进行格式化时连续./// </summary>AsString,/// <summary>/// 用于 Oracle./// 当使用 <s…

JavaScript极速入门(2)

JQuery W3C标准给我们提供了一系列函数,让我们可以操作: 网页内容 网页结构 网页样式 但是原生的JavaScript提供的API操作DOM元素时,代码比较繁琐,冗长.我们学习使用JQuery来操作页面对象. JQuery是一个快速,简洁且功能丰富的JavaScript框架,于2006年发布.它封装JavaScript常…

Linux运维:实现光盘开机自动挂载、配置本地yum源教程

Linux运维&#xff1a;实现光盘开机自动挂载、配置本地yum源教程 一、光盘开机自动挂载1、检查光驱设备2、创建挂载点3、编辑/etc/fstab文件4、测试挂载 二、配置本地yum源(挂载光盘或ISO文件)1、挂载ISO文件2、创建YUM仓库配置文件3、清理YUM缓存并测试 &#x1f496;The Begi…

【netty系列-02】深入理解socket本质和BIO底层实现

Netty系列整体栏目 内容链接地址【一】深入理解网络通信基本原理和tcp/ip协议https://zhenghuisheng.blog.csdn.net/article/details/136359640【二】深入理解Socket本质和BIOhttps://zhenghuisheng.blog.csdn.net/article/details/136549478 深入理解socket本质和bio底层实现 …

C语言进阶——位段

在C语言中&#xff0c;位段&#xff08;Bit Fields&#xff09;是一种用来对结构体中的成员进行位级别的控制的特性。通过位段&#xff0c;我们可以灵活地控制结构体中各个成员的位数&#xff0c;从而节省内存空间并提高程序的效率。本篇博客将详细讲解C语言中位段的相关知识&a…

力扣爆刷第89天之hot100五连刷31-35

力扣爆刷第89天之hot100五连刷31-35 文章目录 力扣爆刷第89天之hot100五连刷31-35一、25. K 个一组翻转链表二、138. 随机链表的复制三、148. 排序链表四、23. 合并 K 个升序链表五、146. LRU 缓存 一、25. K 个一组翻转链表 题目链接&#xff1a;https://leetcode.cn/problem…

python第九节:类的使用(3)

类的继承&#xff1a; 一个类继承另一个类时&#xff0c;它将自动获得另一个类的所有属性和方法&#xff1b;原有的类称为父类&#xff0c;而新类称为子类。子类继承了其父类的所有属性和方法&#xff0c;同时还可以定义自己的属性和方法。 创建子类时&#xff0c;必须在括号…

Java 简历优化及注意事项

Java 简历优化及注意事项 前言1、自我介绍2、掌握技术技能3、项目经验4、项目必问的细节点:5、项目中的难点以及优化改进点6、获奖经历7、面试注意事项 前言 最新的 Java 面试题&#xff0c;技术栈涉及 Java 基础、集合、多线程、Mysql、分布式、Spring全家桶、MyBatis、Dubbo…

找出单身狗1,2

目录 1. 单身狗12. 单身狗2 1. 单身狗1 题目如下&#xff1a; 思路&#xff1a;一部分人可能会使用对数组排序&#xff0c;遍历数组的方式去找出只出现一次的数字&#xff0c;但这种方法的时间复杂度过高&#xff0c;有时候可能会不满足要求。 有一种十分简便的方法是使用异或…

​LeetCode解法汇总2834. 找出美丽数组的最小和

目录链接&#xff1a; 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目&#xff1a; https://github.com/September26/java-algorithms 原题链接&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 描述&#xff1a; 给你两个正整数&#xff1a;n 和 target …