💪 专业从事且热爱图像处理,图像处理专栏更新如下👇:
📝《图像去噪》
📝《超分辨率重建》
📝《语义分割》
📝《风格迁移》
📝《目标检测》
📝《暗光增强》
📝《模型优化》
📝《模型实战部署》
😊总结不易,多多支持呀🌹感谢您的点赞👍收藏⭐评论✍️,您的三连是我持续更新的动力💖
目录
- 一、CAMixerSR
- 二、源码包准备
- 三、环境准备
- 3.1 报错:KeyError: "No object named 'CAMixerSR' found in 'arch' registry!"
- 3.1.1 问题分析
- 3.1.2 解决办法
- 3.2 报错:NotImplementedError: optimizer AdamW is not supperted yet.
- 3.2.1 问题分析
- 3.2.2 解决办法
- 3.3 报错:AttributeError: 'CAMixerSR' object has no attribute 'ratio'
- 3.3.1 问题分析
- 3.3.2 解决办法
- 3.4 报错:AttributeError: 'tuple' object has no attribute 'size'
- 3.4.1 问题分析
- 3.4.2 解决办法
- 3.5 训练和测试环境
- 四、数据集准备
- 4.1 训练集
- 4.2 验证集
- 4.3 测试集
- 五、训练
- 5.1 训练配置参数修改
- 5.2 启动训练
- 5.2.1 配置Configuration训练
- 5.2.2 终端命令训练
- 5.3 训练过程
- 5.4 模型保存
- 六、测试
- 6.1 测试配置文件修改
- 6.2 测试结果问题
- 6.2.1 问题分析
- 6.2.2 解决办法
- 6.3 启动测试
- 6.3.1 配置Configuration测试
- 6.3.2 终端命令测试测试
- 6.4 测试结果
- 七、推理速度
- 八、效果展示
- 九、总结
一、CAMixerSR
CAMixerSR是一种有效且高效的超分辨率网络,它通过动态分配注意力和卷积,实现了在保持高质量恢复的同时,大幅降低计算复杂度。这使得CAMixerSR在处理大尺寸图像的超分辨率任务时具有很大的优势。
CAMixerSR的主要创新在于引入了内容感知混合器(CAMixer),它为简单的上下文分配卷积,为稀疏纹理提供额外的可变形窗口注意力。具体来说,CAMixer使用可学习的预测器生成多个引导,包括用于窗口warping的偏移量,用于分类窗口的mask,以及用于赋予卷积动态属性的卷积注意力。这可以自适应地调节注意力以包含更多有用的纹理,并提高卷积的表示能力。
从论文实验结果显示,CAMixerSR在大尺寸图像SR、轻量级SR和全景图像SR方面实现了较好的性能。与经典的Transformer based超分方案SwinIR-light相比,CAMixerSR在多个数据集(F2K、Tesk2K、Tesk4K、Tesk8K)上都有比较大的优势。在经过优化后,可以做到PSNR接近的情况下节约将近一半的FLOPS以及参数量Params。
二、源码包准备
本教程配套源码包获取方法文章末扫码到公众号「视觉研坊」中回复关键字:超分辨率重建CAMixerSR。获取下载链接。
训练部分的代码,我在官网代码基础上补了很多坑,官网代码提供了train.py,但没有提供训练相关的脚本文件和关联文件,且官网代码在主训练脚本中有一些错误,下面博文中我会展示一部分坑。
官网代码获取:CAMixerSR
论文链接:论文
下载我提供源码包解压后的样子如下,包含了预训练权重,部分训练集,验证集,测试集。
三、环境准备
部分学者使用官网源码包可能会遇到下面的一些问题,如果没遇到跳过,直接看3.5。
3.1 报错:KeyError: “No object named ‘CAMixerSR’ found in ‘arch’ registry!”
直接运行训练train.py主脚本时,报错如下:
3.1.1 问题分析
CAMixerSR网络,作者是在basicsr框架基础上实现的,定义的CAMixerSR类,需要结合注册机才能被调用使用,如果使用命令pip install basicsr安装,只是安装了basicsr包,这种方法在使用basicsr时容易出错,就会出现类似此问题。
3.1.2 解决办法
安装basicsr源码包的方法,具体安装见下,终端中先通过下面命令进入到源码包下的codes文件夹路径下:
cd codes
继续在终端使用下面命令安装basicsr源码包:
python setup.py develop
具体过程如下:
3.2 报错:NotImplementedError: optimizer AdamW is not supperted yet.
报错如下:
3.2.1 问题分析
出现该问题是因为CAMixerSR网络的作者没有提供AdamW优化器方法,仅提供了Adam和SGD两种方法,具体位置见下。
实际上bsaicsr官网源码中是有很多优化器的,其中就包含AdamW,学者可以去basicsr官网查看,链接为:BasicSR
3.2.2 解决办法
修改优化器为Adam或SGD,具体见下:
如果学者想使用其它优化器,可以去basicsr官网上把base_model.py脚本下载后替换我提供源码包中CAMixerSR-main\codes\basicsr\models路径下的base_model.py脚本。
3.3 报错:AttributeError: ‘CAMixerSR’ object has no attribute ‘ratio’
报错如下:
3.3.1 问题分析
ratio变量在全局中不能被正常调用。
3.3.2 解决办法
对ratio变量进行属性赋值,加代码self.ratio = ratio,具体加的位置见下:
3.4 报错:AttributeError: ‘tuple’ object has no attribute ‘size’
3.4.1 问题分析
在训练代码中,计算损失函数时,预测结果要与标签图像进行计算,但是预测结果的直接输出是一个元祖,预测的tensor结果包含在元祖的第0位置,需要取出来与标签图像作比较。
3.4.2 解决办法
具体需要修改的代码位置见下:
3.5 训练和测试环境
我自己训练和测试的环境见下,仅供参考,其它版本也行。
四、数据集准备
4.1 训练集
训练集要求配对的高分辨率和低分辨图像,还要一个.txt文件,包含高分辨率图像的路径等相关信息。在源码包中,我提供了部分训练集,位于CAMixerSR-main\datasets\trian_images路径下:
上面的meta_info.txt文件中的内容,学者可以自己写个脚本遍历读取高分辨率图像的路径,尺寸,将这些信息保存到一个.txt文件中。
我提供的.txt文件,来源于LMDB文件,在制作LMDB文件时,会生成一个meta_info.txt文件,学者可以参考我另外一篇博文制作.txt文件:LMDB文件制作
4.2 验证集
在源码包中提供了4个验证集,位于CAMixerSR-main\datasets\val_images\benchmark路径下:
4.3 测试集
在源码包中,测试集位于CAMixerSR-main\TestImages\benchmark\Set5路径下:
五、训练
5.1 训练配置参数修改
训练配置参数有很多,常用需要修改的见下,其它参数学者根据自己需求自行修改:
5.2 启动训练
训练train.py脚本见下:
启动训练方式有两种,根据自己需求选择。
5.2.1 配置Configuration训练
配置Configuration中参数:
5.2.2 终端命令训练
在终端启动训练命令:
cd codes
python basicsr/train.py -opt options/train/train_example.yml
5.3 训练过程
启动训练后,训练过程如下:
5.4 模型保存
训练过程中的模型会自动保存到CAMixerSR-main\codes\experiments\路径下,在训练前,可以在训练的配置文件中自定义训练迭代多少次保存一次模型。
六、测试
测试的主脚本为CAMixerSR-main\codes\basicsr路径下的test.py脚本。
6.1 测试配置文件修改
模型测试时,常修改到的参数见下:
6.2 测试结果问题
部分学者下载官网模型后直接测试时,可能会出现下面问题:
6.2.1 问题分析
出现上面问题的原因是测试的模型选用的默认的模型,需要修改为官网超分模型或自己训练好的模型。
6.2.2 解决办法
修改测试模型的具体位置见下,修改后再测试就能够正常出图了。
6.3 启动测试
启动测试也是两种方法,自行选择:
6.3.1 配置Configuration测试
6.3.2 终端命令测试测试
在终端输入下面命令进行测试:
python codes/basicsr/test.py -opt F:\Code\Python\CAMixerSR\CAMixerSR-main\codes\options\test\test_x4.yml
6.4 测试结果
运行测试脚本后,结果会自动保存到CAMixerSR-main\codes\results路径下:
七、推理速度
GPU测试环境:Nvidia GeForce RTX 3050。
CPU测试环境:12th Gen Intel® Core™ i7-12700H 2.30 GHz。
下面是不同分辨率在不同平台即不同超分倍数下推理耗时:
八、效果展示
下面展示图中,最左侧图为原图通过OpenCv直接上采样4倍图,中间为CAMixerSR网络超分4倍结果,最右侧为高分辨率原图。
九、总结
以上就是超分辨率重建CAMixerSR网络训练与推理测试的详细图文教程,希望能帮你快速训练并测试CAMixerSR网络。
感谢您阅读到最后!关注公众号「视觉研坊」,获取干货教程、实战案例、技术解答、行业资讯!