【异常检测】新版异常检测库anomalib的使用

every blog every motto: There’s only one corner of the universe you can be sure of improving, and that’s your own self.
https://blog.csdn.net/weixin_39190382?spm=1010.2135.3001.5343

0. 前言

异常检测库anomalib的使用

20240509142432

1. 前提

1.1 数据组织形式

说明: 分类时不需要mask
20240509141420

数据: https://github.com/openvinotoolkit/anomalib/releases/download/hazelnut_toy_dataset/hazelnut_toy.zip

1.2 安装

最新版的anomalib使用Python3.10

conda create -n anomalib_env python=3.10
conda activate anomalib_envpip install anomalib

2. 分类任务

在异常检测过程中,可能存在异常图片无法获取的情况,所以分两种情况:

  • 有正常图片和异常图片
  • 只有正常图片

2.1 正常图片and异常图片

如下代码,使用Folder类,我们需要指定

  • 数据集名称
  • 数据集根目录
  • 正常图片目录
  • 异常图片目录
  • 任务类型

至此,我们就生成了datamodule。

# Import the datamodule
from anomalib.data import Folder# Create the datamodule
datamodule = Folder(name="hazelnut_toy",root="datasets/hazelnut_toy",normal_dir="good",abnormal_dir="crack",task="classification",
)# Setup the datamodule
datamodule.setup()

2.1.1 数据集

我们可以查看train,valid,test

i, train_data = next(enumerate(datamodule.train_dataloader()))
print(train_data.keys())
# dict_keys(['image_path', 'label', 'image'])i, val_data = next(enumerate(datamodule.val_dataloader()))
print(val_data.keys())
# dict_keys(['image_path', 'label', 'image'])i, test_data = next(enumerate(datamodule.test_dataloader()))
print(test_data.keys())
# dict_keys(['image_path', 'label', 'image'])

我们可以指定验证集和测试集的划分比例可划分模式

20240509095709

默认情况下正常图片为训练集,异常图片为测试集。

20240509114942

默认的验证集是从测试集进行划分的,默认划分比例为0.5

20240509100144

2.1.2 训练

说明: 训练完会进行测试

# Import the model and engine
from anomalib.models import Patchcore
from anomalib.engine import Engine# Create the model and engine
model = Patchcore()
engine = Engine(task="classification")# Train a Patchcore model on the given datamodule
engine.train(datamodule=datamodule, model=model)

2.2 只有正常图片

当只有正常图片时,有两种处理方式:

  • 只进行训练
  • 生成异常图片进行验证和测试

我们这里展示第二种方式

2.2.1 数据集

# Import the datamodule
from anomalib.data import Folder
from anomalib.data.utils import TestSplitMode# Create the datamodule
datamodule = Folder(name="hazelnut_toy",root="datasets/hazelnut_toy",normal_dir="good",test_split_mode=TestSplitMode.SYNTHETIC,task="classification",
)# Setup the datamodule
datamodule.setup()

2.2.2 训练

这里训练和上述类似,

# Import the model and engine
from anomalib.models import Patchcore
from anomalib.engine import Engine# Create the model and engine
model = Patchcore()
engine = Engine(task="classification")# Train a Patchcore model on the given datamodule
engine.train(datamodule=datamodule, model=model)

3. 分割任务

3.1 正常图片and异常图片

3.1.1 数据集

假设我们有一个数据集,其中训练集只包含正常图像,测试集同时包含正常和异常图像。我们还对测试集中的异常图像进行了掩码处理。我们想要训练一个能够检测出测试集中异常区域的异常分割模型

# Import the datamodule
from anomalib.data import Folder# Create the datamodule
datamodule = Folder(name="hazelnut_toy",root="datasets/hazelnut_toy",normal_dir="good",abnormal_dir="crack",mask_dir="mask/crack",normal_split_ratio=0.2,
)# Setup the datamodule
datamodule.setup()

其中datasets和dataloader访问方式如下:

# Access the datasets
train_dataset = datamodule.train_data
val_dataset = datamodule.val_data
test_dataset = datamodule.test_data# Access the dataloaders
train_dataloader = datamodule.train_dataloader()
val_dataloader = datamodule.val_dataloader()
test_dataloader = datamodule.test_dataloader()

3.1.2 训练

# Import the model and engine
from anomalib.models import Patchcore
from anomalib.engine import Engine# Create the model and engine
model = Patchcore()
engine = Engine()# Train a Patchcore model on the given datamodule
engine.train(datamodule=datamodule, model=model)

3.2 只有正常图片

和上述分类一样,当只有正常图片时,有两种处理方式:

  • 只进行训练
  • 生成异常图片进行验证和测试

我们依然展示的是第二种情况

# Import the datamodule
from anomalib.data import Folder
from anomalib.data.utils import TestSplitMode# Create the datamodule
datamodule = Folder(name="hazelnut_toy",root="datasets/hazelnut_toy",normal_dir="good",test_split_mode=TestSplitMode.SYNTHETIC,
)# Setup the datamodule
datamodule.setup()

训练和上述类似

参考

  1. https://anomalib.readthedocs.io/en/latest/markdown/guides/how_to/data/custom_data.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/9743.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

15 华三华为链路聚合综述

1 链路聚合简介 以太网链路聚合通过将多条以太网物理链路捆绑在一起形成一条以太网逻辑链路,实现增加链路带宽的目的,同时这些捆绑在一起的链路通过相互动态备份,可以有效地提高链路的可靠性。 2 成员端口的状态 聚合组内的成员端口具有以下…

Ps 滤镜:视频

Ps菜单:滤镜/视频 Filter/Video “视频”滤镜子菜单中包含了“NTSC 颜色”和“逐行”两个滤镜。 这两个滤镜都是针对视频和电视播放的特定需求设计的。 “逐行”滤镜主要解决交错视频的视觉问题,而“NTSC 颜色”滤镜则确保色彩在电视播放时的兼容性和准确…

Java设计模式 _结构型模式_享元模式

一、享元模式 1、享元模式 享元模式(Flyweight Pattern)是一种结构型模式。主要用于减少创建对象的数量,以减少内存占用和提高性能。主要解决有大量对象时,有可能会造成内存溢出,我们把其中共同的部分抽象出来&#x…

django中的日志处理

1、事件追踪 在什么样的时间发生了什么样的事情 2、bug调试 3、程序告警 4、大数据统计 ELK 日志分析系统 elasticsearh logstasn kibana 名词概念 loggers:日志器 —— 定大方向:1 handlers:处理器 —— 执行:3 formatters&#xff…

【C++】详细版 RAII技术的应用之智能指针(智能指针发展历程和简单模拟实现介绍)

目录 前言 一、智能指针有什么用? 二、什么是RAII(智能指针的底层思想)? 三、智能指针的发展历程以及模拟实现 1.auto_ptr(C98) 2.unique_ptr(C11) 3.shared_ptr(C11) 前言 C中…

【vulhub靶场】Apache 中间件漏洞复现

【vulhub靶场】Apache 中间件漏洞复现 一、Apache HTTPD 换行解析漏洞(CVE-2017-15715)1. 漏洞详情2. 影响版本3. 漏洞复现 二、Apache多后缀解析漏洞(apache_parsing_vulnerability)1. 漏洞详情2. 漏洞复现 三、Apache HTTP Serv…

【Python爬虫实战入门】:教你一个程序实现PPT模版自由

文章目录 💥一、PPT模版爬取🔥1.1 第一个爬虫🚲1. 获取下载页面链接 ❤️1.2 第二个爬虫🚲1.3 第三个爬虫🎈2. 文件保存 ❤️1.4 翻页处理 🔥二、完整代码 🔥🔥🔥 Pytho…

【Linux】简易进度条的实现

🎉博主首页: 有趣的中国人 🎉专栏首页: Linux 🎉其它专栏: C初阶 | C进阶 | 初阶数据结构 小伙伴们大家好,本片文章将会讲解Linux中进度条的实现的相关内容。 如果看到最后您觉得这篇文章写得…

深度学习论文: LightGlue: Local Feature Matching at Light Speed

深度学习论文: LightGlue: Local Feature Matching at Light Speed LightGlue: Local Feature Matching at Light Speed PDF: https://arxiv.org/pdf/2306.13643 PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代码: https://github.com/shanglianlm0525/…

AI算法-高数2-导数定义和公式

P14 2.1 导数的定义(一):2.1 导数的定义_哔哩哔哩_bilibili 导数定义: 导数公式: P15 2.1 导数的定义(二):2.1 导数的定义(二)_哔哩哔哩_bilibili [a,b]可导,a的端点:右可导,b端点&…

Leetcode—138. 随机链表的复制【中等】(cend函数)

2024每日刷题(129) Leetcode—138. 随机链表的复制 实现代码 /* // Definition for a Node. class Node { public:int val;Node* next;Node* random;Node(int _val) {val _val;next NULL;random NULL;} }; */class Solution { public:Node* copyRan…

Spring JdbcTemplate使用临时表+事务会话管理实现数据新增、查询及自动清除功能

需求描述: 由于某些情况下当查询过滤参数过大时,执行sql由于参数过大而报错,此时 需要使用临时表的方式,即 当参数超过某个阀值(如 1000,可调整)新增一张临时表,将原表 与 该临时表进…

代码随想录算法训练营第六十二天|503.下一个更大元素II、42.接雨水

代码随想录算法训练营第六十二天|503.下一个更大元素II、42.接雨水 503.下一个更大元素II 给定一个循环数组 nums ( nums[nums.length - 1] 的下一个元素是 nums[0] ),返回 nums 中每个元素的 下一个更大元素 。 数字 x 的 下一个更大的元…

第十一篇:操作系统新纪元:智能融合、量子跃迁与虚拟现实的交响曲

操作系统新纪元:智能融合、量子跃迁与虚拟现实的交响曲 1 引言 在数字化的浪潮中,操作系统如同一位智慧的舵手,引领着信息技术的航船穿越波涛汹涌的海洋。随着人工智能、物联网、量子计算等前沿技术的蓬勃发展,操作系统正站在一个…

富士Apeos 2350 NDA复印机报062 360代码故障

故障描述: 富士Apeos 2350 NDA复印机新机器刚拆箱安装,开机正常,自检扫描头一卡一卡的往前动几下就不动了、扫描灯也不亮扫描头也不能正常复位;按机器的复印键直接报062 360代码; 解答: 此代码为扫描故障&a…

PDF高效编辑:一键批量,PDF转图片的快速解决方案

在数字化时代,PDF文件已成为工作和学习中不可或缺的一部分。然而,有时我们可能需要将PDF转换为图片,以便更轻松地编辑、共享或处理。为了满足这一需求,许多高效的PDF编辑工具应运而生,其中“办公提效工具”一键批量PDF…

【每日八股】淘天一面

🔥 个人主页: 黑洞晓威 😀你不必等到非常厉害,才敢开始,你需要开始,才会变的非常厉害 rocketmq的消息重复发送问题?如何保证幂等? 如何保证幂等性: 消息 Key 设置:不建议…

如何自定义Markdown中插入图片的位置

工作中常常需要在VsCode下写Markdown笔记,在写笔记的过程中不免需要插入图片。  Markdown中插入笔记的操作往往是比较繁琐的,比如:在文档中引用本地某个文件夹下的图片,首先需要你先保存图片到本地路径,然后需要你在文…

Vue-Cli脚手架项目的搭建【新手快速入手】

目录 一、Vue CLI脚手架简介☺ 1.Node.js前置环境的安装 2.安装npm管理器 3.安装淘宝镜像(cnpm) 二、安装vue-cli 1. 版本号查看 2.旧版本卸载 3.新版本安装 4.检查 三、Vue项目的搭建 📌进入Vue项目管理器 ★命令方式创建 若localhost拒绝访问怎么办&…

技术速递|Python in Visual Studio Code 2024年5月发布

排版:Alan Wang 我们很高兴地宣布 Visual Studio Code 的 Python 和 Jupyter 扩展将于 2024 年 5 月发布! 此版本包括以下公告: “Implement all inherited abstract classes”代码操作新的自动缩进设置Debugpy 从 Python 扩展中删除&#…