超分辨率重建——CAMixerSR网络训练与推理测试(详细图文教程)

💪 专业从事且热爱图像处理,图像处理专栏更新如下👇:
📝《图像去噪》
📝《超分辨率重建》
📝《语义分割》
📝《风格迁移》
📝《目标检测》
📝《暗光增强》
📝《模型优化》
📝《模型实战部署》

😊总结不易,多多支持呀🌹感谢您的点赞👍收藏⭐评论✍️,您的三连是我持续更新的动力💖


在这里插入图片描述

在这里插入图片描述

目录

  • 一、CAMixerSR
  • 二、源码包准备
  • 三、环境准备
    • 3.1 报错:KeyError: "No object named 'CAMixerSR' found in 'arch' registry!"
      • 3.1.1 问题分析
      • 3.1.2 解决办法
    • 3.2 报错:NotImplementedError: optimizer AdamW is not supperted yet.
      • 3.2.1 问题分析
      • 3.2.2 解决办法
    • 3.3 报错:AttributeError: 'CAMixerSR' object has no attribute 'ratio'
      • 3.3.1 问题分析
      • 3.3.2 解决办法
    • 3.4 报错:AttributeError: 'tuple' object has no attribute 'size'
      • 3.4.1 问题分析
      • 3.4.2 解决办法
    • 3.5 训练和测试环境
  • 四、数据集准备
    • 4.1 训练集
    • 4.2 验证集
    • 4.3 测试集
  • 五、训练
    • 5.1 训练配置参数修改
    • 5.2 启动训练
      • 5.2.1 配置Configuration训练
      • 5.2.2 终端命令训练
    • 5.3 训练过程
    • 5.4 模型保存
  • 六、测试
    • 6.1 测试配置文件修改
    • 6.2 测试结果问题
      • 6.2.1 问题分析
      • 6.2.2 解决办法
    • 6.3 启动测试
      • 6.3.1 配置Configuration测试
      • 6.3.2 终端命令测试测试
    • 6.4 测试结果
  • 七、推理速度
  • 八、效果展示
  • 九、总结

一、CAMixerSR

CAMixerSR是一种有效且高效的超分辨率网络,它通过动态分配注意力和卷积,实现了在保持高质量恢复的同时,大幅降低计算复杂度。这使得CAMixerSR在处理大尺寸图像的超分辨率任务时具有很大的优势。

CAMixerSR的主要创新在于引入了内容感知混合器(CAMixer),它为简单的上下文分配卷积,为稀疏纹理提供额外的可变形窗口注意力。具体来说,CAMixer使用可学习的预测器生成多个引导,包括用于窗口warping的偏移量,用于分类窗口的mask,以及用于赋予卷积动态属性的卷积注意力。这可以自适应地调节注意力以包含更多有用的纹理,并提高卷积的表示能力。

从论文实验结果显示,CAMixerSR在大尺寸图像SR、轻量级SR和全景图像SR方面实现了较好的性能。与经典的Transformer based超分方案SwinIR-light相比,CAMixerSR在多个数据集(F2K、Tesk2K、Tesk4K、Tesk8K)上都有比较大的优势。在经过优化后,可以做到PSNR接近的情况下节约将近一半的FLOPS以及参数量Params。

二、源码包准备

本教程配套源码包获取方法文章末扫码到公众号「视觉研坊」中回复关键字:超分辨率重建CAMixerSR。获取下载链接。

训练部分的代码,我在官网代码基础上补了很多坑,官网代码提供了train.py,但没有提供训练相关的脚本文件和关联文件,且官网代码在主训练脚本中有一些错误,下面博文中我会展示一部分坑。

官网代码获取:CAMixerSR

论文链接:论文

下载我提供源码包解压后的样子如下,包含了预训练权重,部分训练集,验证集,测试集。

在这里插入图片描述

三、环境准备

部分学者使用官网源码包可能会遇到下面的一些问题,如果没遇到跳过,直接看3.5。

3.1 报错:KeyError: “No object named ‘CAMixerSR’ found in ‘arch’ registry!”

直接运行训练train.py主脚本时,报错如下:

在这里插入图片描述

3.1.1 问题分析

CAMixerSR网络,作者是在basicsr框架基础上实现的,定义的CAMixerSR类,需要结合注册机才能被调用使用,如果使用命令pip install basicsr安装,只是安装了basicsr包,这种方法在使用basicsr时容易出错,就会出现类似此问题。

3.1.2 解决办法

在这里插入图片描述

安装basicsr源码包的方法,具体安装见下,终端中先通过下面命令进入到源码包下的codes文件夹路径下:

cd codes

继续在终端使用下面命令安装basicsr源码包:

python setup.py develop

具体过程如下:

在这里插入图片描述

在这里插入图片描述

3.2 报错:NotImplementedError: optimizer AdamW is not supperted yet.

报错如下:

在这里插入图片描述

3.2.1 问题分析

出现该问题是因为CAMixerSR网络的作者没有提供AdamW优化器方法,仅提供了Adam和SGD两种方法,具体位置见下。

在这里插入图片描述

实际上bsaicsr官网源码中是有很多优化器的,其中就包含AdamW,学者可以去basicsr官网查看,链接为:BasicSR

在这里插入图片描述

3.2.2 解决办法

修改优化器为Adam或SGD,具体见下:

在这里插入图片描述

如果学者想使用其它优化器,可以去basicsr官网上把base_model.py脚本下载后替换我提供源码包中CAMixerSR-main\codes\basicsr\models路径下的base_model.py脚本。

在这里插入图片描述

3.3 报错:AttributeError: ‘CAMixerSR’ object has no attribute ‘ratio’

报错如下:

在这里插入图片描述

3.3.1 问题分析

ratio变量在全局中不能被正常调用。

3.3.2 解决办法

对ratio变量进行属性赋值,加代码self.ratio = ratio,具体加的位置见下:

在这里插入图片描述

3.4 报错:AttributeError: ‘tuple’ object has no attribute ‘size’

3.4.1 问题分析

在训练代码中,计算损失函数时,预测结果要与标签图像进行计算,但是预测结果的直接输出是一个元祖,预测的tensor结果包含在元祖的第0位置,需要取出来与标签图像作比较。

3.4.2 解决办法

具体需要修改的代码位置见下:

在这里插入图片描述

3.5 训练和测试环境

我自己训练和测试的环境见下,仅供参考,其它版本也行。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、数据集准备

4.1 训练集

训练集要求配对的高分辨率和低分辨图像,还要一个.txt文件,包含高分辨率图像的路径等相关信息。在源码包中,我提供了部分训练集,位于CAMixerSR-main\datasets\trian_images路径下:

在这里插入图片描述

上面的meta_info.txt文件中的内容,学者可以自己写个脚本遍历读取高分辨率图像的路径,尺寸,将这些信息保存到一个.txt文件中。

我提供的.txt文件,来源于LMDB文件,在制作LMDB文件时,会生成一个meta_info.txt文件,学者可以参考我另外一篇博文制作.txt文件:LMDB文件制作

4.2 验证集

在源码包中提供了4个验证集,位于CAMixerSR-main\datasets\val_images\benchmark路径下:

在这里插入图片描述

4.3 测试集

在源码包中,测试集位于CAMixerSR-main\TestImages\benchmark\Set5路径下:

在这里插入图片描述

五、训练

5.1 训练配置参数修改

训练配置参数有很多,常用需要修改的见下,其它参数学者根据自己需求自行修改:

在这里插入图片描述

在这里插入图片描述

5.2 启动训练

训练train.py脚本见下:

在这里插入图片描述

启动训练方式有两种,根据自己需求选择。

5.2.1 配置Configuration训练

配置Configuration中参数:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5.2.2 终端命令训练

在终端启动训练命令:

cd codes
python basicsr/train.py -opt options/train/train_example.yml

5.3 训练过程

启动训练后,训练过程如下:

在这里插入图片描述

5.4 模型保存

训练过程中的模型会自动保存到CAMixerSR-main\codes\experiments\路径下,在训练前,可以在训练的配置文件中自定义训练迭代多少次保存一次模型。

在这里插入图片描述

六、测试

测试的主脚本为CAMixerSR-main\codes\basicsr路径下的test.py脚本。

在这里插入图片描述

6.1 测试配置文件修改

模型测试时,常修改到的参数见下:

在这里插入图片描述

6.2 测试结果问题

部分学者下载官网模型后直接测试时,可能会出现下面问题:

在这里插入图片描述

6.2.1 问题分析

出现上面问题的原因是测试的模型选用的默认的模型,需要修改为官网超分模型或自己训练好的模型。

6.2.2 解决办法

修改测试模型的具体位置见下,修改后再测试就能够正常出图了。

在这里插入图片描述

6.3 启动测试

启动测试也是两种方法,自行选择:

6.3.1 配置Configuration测试

在这里插入图片描述

在这里插入图片描述

6.3.2 终端命令测试测试

在终端输入下面命令进行测试:

python codes/basicsr/test.py -opt F:\Code\Python\CAMixerSR\CAMixerSR-main\codes\options\test\test_x4.yml

6.4 测试结果

运行测试脚本后,结果会自动保存到CAMixerSR-main\codes\results路径下:

在这里插入图片描述

七、推理速度

GPU测试环境:Nvidia GeForce RTX 3050。

CPU测试环境:12th Gen Intel® Core™ i7-12700H 2.30 GHz。

下面是不同分辨率在不同平台即不同超分倍数下推理耗时:

在这里插入图片描述

八、效果展示

下面展示图中,最左侧图为原图通过OpenCv直接上采样4倍图,中间为CAMixerSR网络超分4倍结果,最右侧为高分辨率原图。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

九、总结

以上就是超分辨率重建CAMixerSR网络训练与推理测试的详细图文教程,希望能帮你快速训练并测试CAMixerSR网络。

感谢您阅读到最后!关注公众号「视觉研坊」,获取干货教程、实战案例、技术解答、行业资讯!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/12208.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在做题中学习(56):二维前缀和模板

【模板】二维前缀和_牛客题霸_牛客网 (nowcoder.com) 理解题意: 要求的是(x1,y1) - (x2,y2)这段区间的和。 解法:二维前缀和 1. 和一维前缀和一样,需要有一个同等规模的dp数组,用来保存一段连续区域的和。 在二维dp中&#xff0…

客户案例:CACTER云网关为企业O365系统提供安全新护盾

一、客户背景 某智能驾驶企业是一家国际性的高科技创新型企业,其智能驾驶领域处于全球领先地位,专注于为广大客户提供个性化的智能驾驶解决方案,共建美好智能新时代。 使用产品:CACTER邮件安全云网关 二、痛点难点问题 根据…

最强特征点检测算法 DeDoDe v1/v2

论文地址v1:https://arxiv.org/pdf/2308.08479 论文地址v1:https://arxiv.org/pdf/2404.08928 代码地址:GitHub - Parskatt/DeDoDe: [3DV 2024 Oral] DeDoDe 🎶 Detect, Dont Describe --- Describe, Dont Detect, for Local Feature Matching 实测确实牛X! DeDoDeV1 关…

网安热议 | 中小企面临什么网络安全困扰?中小企网络安全是不是智商税?

近日,Coro 公司表示,许多中小型企业的 IT 人员被开发安全工作中多工具操作的复杂性和安全需求,压得“喘不过气”,导致其可能错过很多关键安全事件告警信息,从而将公司的网络安全置于危险之地。 研究机构采访了美国多行…

比大小(打擂台)(C语言)

一、运行结果&#xff1b; 二、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h>//声明比较大小函数max; int max(int a, int b);int main() {//初始化变量值&#xff1b;int i, n, m, a[10];//填充数组&#xff1b;printf("请输入10个数…

数据结构选择题(期末)

1.给定NN的二维数组A&#xff0c;则在不改变数组的前提下&#xff0c;查找最大元素的时间复杂度是&#xff08;A&#xff09;&#xff1a; A.O(N2) B.O(NlogN) C.O(N) D.O(N2logN) 两重循环即O(N2)的时间复杂度 2.与数据元素本身的形式、内容、相对位置、个数无关的是数据的…

MIT 6.5840(6.824) Lab1:MapReduce 设计实现

1 介绍 本次实验是实现一个简易版本的MapReduce&#xff0c;你需要实现一个工作程序&#xff08;worker process&#xff09;和一个调度程序&#xff08;coordinator process&#xff09;。工作程序用来调用Map和Reduce函数&#xff0c;并处理文件的读取和写入。调度程序用来协…

晶振在电子设备中的作用是什么?

在无源晶振电路中&#xff0c;并联电阻起着至关重要的作用。无源晶振本身不能自行产生振荡&#xff0c;因此需要借助外部电路来实现。并联在晶振两端的电阻&#xff0c;通常称为负载电阻&#xff0c;对电路的稳定性和振荡性能有着重要影响。 晶振电路的核心是皮尔斯振荡器&…

mysql根据字段值关联查不同表

mysql根据字段值关联查不同表&#xff1a; 实现&#xff1a; 使用left join 结合case when 判断直接取值&#xff1a; select mp.member_id ,mp.store_id, case mp.store_type when 1 then bs.store_namewhen 2 then sc.store_namewhen 3 then be.store_name end as store_na…

string类篇超超超详解,40余个成员函数详细解释(图文)!看完包会!!

本篇目标 constructoroperatorElements accessIteratorsCapacityModifiersString operationsmember contants其他函数 一、constructor(对象的创建) void StrTest1() {string s1;//直接构造cout << s1 << endl;//string里内置了流插入、流提取的函数重载&#xf…

Naive RAG 、Advanced RAG 和 Modular RAG 简介

简介&#xff1a; RAG&#xff08;Retrieval-Augmented Generation&#xff09;系统是一种结合了检索&#xff08;Retrieval&#xff09;和生成&#xff08;Generation&#xff09;的机制&#xff0c;用于提高大型语言模型&#xff08;LLMs&#xff09;在特定任务上的表现。随…

深入解析RedisJSON:在Redis中直接处理JSON数据

码到三十五 &#xff1a; 个人主页 JSON已经成为现代应用程序之间数据传输的通用格式。然而&#xff0c;传统的关系型数据库在处理JSON数据时可能会遇到性能瓶颈。为了解决这一问题&#xff0c;Redis推出了RedisJSON模块&#xff0c;它允许开发者在Redis数据库中直接存储、查询…

产品推荐 | 基于 AMD Virtex UltraScale FPGA VCU1287 的特性描述套件

01 产品概述 VCU1287 功能描述套件可为您提供描述和评估 Virtex™ UltraScale™ XCVU095-FFVB2104E FPGA 上可用 32 GTH (16Gbps) 和 32 GTY (30Gbps) 收发器所需的一切功能。每个 GTH 与 GTY Quad 及其相关参考时钟均从 FPGA 路由至 SMA 及 Samtec BullsEye 连接器。 Bulls…

好题总结汇总

好题总结汇总 总结一些做完很有收获的题。 一、经典问题 DP的结合 1、题意&#xff1a; 给定 n n n 种颜色的球的数量 a 1 , a 2 , . . . , a n a_1, a_2, ..., a_n a1​,a2​,...,an​&#xff0c;选出一些不同种类的球(也就是在n种球中选球的任意情况)&#xff0c;将球…

TCP的滑动窗口机制和流量控制

目录 滑动窗口 流量控制 拥塞控制 滑动窗口 TCP除了保证可靠性之外&#xff0c;也希望能够尽可能高效的完成数据传输。滑动窗口就是一种提高效率的机制。以下是不引入滑动窗口的数据传输过程&#xff1a; 可以看到&#xff0c;主机A这边每次收到一个ACK才发送下一个数据。这…

为什么cca门限和tx 功率有关系

Cca是用来决定信道是否繁忙&#xff0c;好像只和收有关。 但是为什么和tx有关。 设想一下这个网路布局。 如果某个STA在决定是否发送的时候&#xff0c;是否不能只看收到的干扰多大&#xff0c;还应该“冒险”一下&#xff0c;如果自己的功率足够&#xff0c;那么就可以扛住干…

MyBatis的注解实现复杂映射开发

xml 配置方式实现复杂映射回顾 ​ 实现复杂映射我们之前可以在映射文件中通过配置来实现&#xff0c;使用注解开发后&#xff0c;我们可以通过 Results 注解&#xff0c;Result 注解&#xff0c;One 注解和 Many 注解组合完成复杂关系的配置。 注解说明Results代替的是标签 …

【csv-parse】使用parse方法的时候来转换为csv字符串时,会导致输出有乱码

&#x1f601; 作者简介&#xff1a;一名大四的学生&#xff0c;致力学习前端开发技术 ⭐️个人主页&#xff1a;夜宵饽饽的主页 ❔ 系列专栏&#xff1a;前端bug记录 &#x1f450;学习格言&#xff1a;成功不是终点&#xff0c;失败也并非末日&#xff0c;最重要的是继续前进…

Vue3组件库开发项目实战——02项目搭建(配置Eslint/Prettier/Sass/Tailwind CSS/VitePress/Vitest)

摘要&#xff1a;在现代前端开发中&#xff0c;构建一个高效、可维护且易于协作的开发环境至关重要。特别是在开发Vue3组件库时&#xff0c;我们需要确保代码的质量、一致性和文档的完整性。本文将带你从0搭建vue3组件库开发环境&#xff0c;以下是配置代码规范、格式化、CSS样…

扩散模型diffusion model

一 什么是扩散模型 1.1 现有生成模型 已经有大量的方法证明深度生成模型能够模拟人类的想象思维&#xff0c;生成人类难以分辨真伪的内容&#xff0c;主要方法如下&#xff1a; 1、GAN&#xff1a;用神经网络训练生成器和判别器 GAN 的主要思想&#xff1a; GAN 就是一个互搏的…