delphi 生成 超大量xml_用OpenCV4实现图像的超分别率

用OpenCV4实现图像的超分别率

本实验原文链接:·

f="https://arxiv.org/pdf/1807.06779.pdf">https://arxiv.org/pdf/1807.06779.pdf

原文摘要

单图像超分辨率(SISR)的主要挑战是如何恢复微小纹理等高频细节。然而,大多数最先进的方法缺乏识别高频区域的特定模块,导致输出图像模糊。本文提出了一种基于注意的方法来区分纹理区域和平滑区域。高频细节定位后,进行高频补偿。这种方法可以与先前提出的SISR网络相结合。通过提供高频增强,可以获得更好的性能和视觉效果。本文还提出了自己的由DenseRes块组成的SISR网络。该模块提供了一种将低层特征和高层特征相结合的有效方法。大量的基准测试表明,本文提出的方法比SISR的最新作品有了显著的改进。

单图像超分辨率(SISR)的任务是从单低分辨率(LR)输入图像中推断出高分辨率(HR)图像。

这是一个高度不适定的问题,因为在低通滤波和下采样过程中,诸如微小纹理等高频信息会丢失。因此,SISR是一对多的映射,本文的任务是找到最合理的图像,尽可能地恢复微小的纹理。为了从LR图像中恢复HR图像,需要大的接收场从LR图像中获取更多的上下文信息。使用更深层的网络是增加接受视野的更好方法。深度网络的一个缺点是梯度问题的消失,使得网络难以训练。Heetal.[1]利用这些学习框架来进行网络训练。跳过连接是另一种通过网络增加梯度和信息流动的解决方案。低层特征包含了有效的信息,可以用来重建HR图像。SISR将从不同层次的集体信息中获益。SISR的难点在于恢复高频细节,如微小纹理。

输出图像与原始图像之间的均方误差(MSE)常作为损失函数来训练卷积神经网络。然而,在追求高峰值信噪比(PSNR)的过程中,MSE会返回许多可能解的均值,从而使输出图像变得模糊和不可信。为了恢复高频细节,人们提出了知觉损失[2],它鼓励生成特征表示相似的图像的网络,从而产生更清晰的图像。莱迪格在阿尔。[3] ,[4]结合对抗性网络、感知损失和纹理损失,鼓励输出图像恢复微小纹理等高频细节。但是所有这些网络并不清楚高频细节的位置,它们只是试图盲目地恢复

纹理。因此,这些网络的性能并不令人满意。为了解决这些问题,首先,在denseNet[5]的基础上,本文提出了一种新的由剩余积木块(Resblock)[1]组成的DenseRes块。每个Resblock的输出都连接到其他Resblock,增强了信息的流动性,避免了冗余特征的重新学习。利用DenseRes块,减少了梯度消失问题,网络易于训练。第二,本文提供一个注意机制来处理高频细节的恢复。受用于语义像素级分割的U-net[6]的启发,本文提出了一种新的混合密集连接U-net,以帮助网络区分是否存在需要修复或类似于插值图像的细小纹理区域。它作为一个特征选择器,有选择地增强高频特征。因此,可以尽可能接近地恢复纹理。这是第一次将注意机制引入SISR。方法简单有效。通过选择性地提供高频增强,它缓解了输出图像容易模糊的问题。注意机制可以与先前提出的SISR网络相结合。获得了较高的信噪比和信噪比。另一个贡献是本文提出了DenseRes块,它提供了一种有效的方法来结合低层特征和高层特征。这有利于恢复高频细节。本文在四个公开的基准数据集上评估本文的模型。它在PSNR和结构相似性(SSIM)指数方面优于当前最新的方法。PSNR比VDSR[7]和DRCN[8]分别提高了0.54db和0.52dB。

图像超像素

传统方式的图像超像素常见的方式就是基于立方插值跟金字塔重建。OpenCV中对这两种方式均有实现,低像素图像在纹理细节方面很难恢复,从低像素图像到高像素图像是典型的一对多映射,如果找到一种好的映射关系可以尽可能多的恢复或者保留图像纹理细节是图像超像素重建的难点之一,传统方式多数都是基于可推导的模型实现。而基于深度学习的超像素重新方式过程未知但是结果优于传统方式。在深度学习方式的超像素重建中,对低像素图像采样大感受野来获取更多的纹理特征信息。OpenVINO中提供的单张图像超像素网络参考了下面这篇文章

该网络模型主要分为两个部分

· 特征重建网络,实现从低分辨率到高分辨率的像素重建

· 注意力生成网络,主要实现图像中高频信息的修复

通过两个网络的的输出相乘,还可以得到高分辨率图像的残差。特征重建网络主要包括三个部分。卷积层实现特征提取,卷积层采样大感受野来得到更多纹理细节;多个DenseRes 叠加模块,级联DenseRes可以让网络更深,效果更好;一个亚像素卷积层作为上采样模块。注意力生成网络部分,用来恢复小的纹理细节,如图像的边缘与形状,网络可以准确定位到细节特征,然后进行相对提升,注意力特征网络设计受到UNet网络架构的启发。完整的模型结构如下:

18d280df7a396c1fb1f57c111e7312aa.png

一个更简介的网络结构如下:

c9231f47a77ee34aa027bbd5a7d672f9.png

其中LR表示低分辨率图像、HR表示高分辨率图像,Bicubic表示双立方插值上采样。

模型文件

OpenVINO提供的模型是在这个模型基础上进行简化,计算量更低,速度更快。从上面的模型结构知道,模型有两个输入部分,分别是输入的低分辨率图像与双立方上采样的图像

· LR的输入:[1x3x270x480]双立方采样:[1x3x1080x1920]三通道顺序是:BGR

模型的输出

·

输出层是一个blob对象,格式为[1x3x1080x1920]

程序演示

首先需要加载网络模型,获取可执行网络,然后设置输入与输出的数据格式与数据精度,这部分的代码如下:

// 加载检测模型
CNNNetReader network_reader;
network_reader.ReadNetwork(model_xml);
network_reader.ReadWeights(model_bin);
// 请求网络输入与输出信息
auto network = network_reader.getNetwork();
InferenceEngine::InputsDataMap input_info(network.getInputsInfo());
InferenceEngine::OutputsDataMap output_info(network.getOutputsInfo());
// 设置输入格式
for (auto &item : input_info) {
auto input_data = item.second;
input_data->setPrecision(Precision::U8);
input_data->setLayout(Layout::NCHW);
input_data->getPreProcess().setResizeAlgorithm(RESIZE_BILINEAR);
input_data->getPreProcess().setColorFormat(ColorFormat::BGR);
}
printf("get it n");
// 设置输出格式
for (auto &item : output_info) {
auto output_data = item.second;
output_data->setPrecision(Precision::FP32);
}
// 创建可执行网络对象
auto executable_network = ie.LoadNetwork(network, "CPU");
// 请求推断图
auto infer_request = executable_network.CreateInferRequest();

代码演示步骤中有两个输入,对输入的设置可以使用下面的代码

/** Iterating over all input blobs **/
for (auto & item : input_info) {
auto input_name = item.first;
printf("input_name : %s n", input_name.c_str());
/** Getting input blob **/
auto input = infer_request.GetBlob(input_name);
size_t num_channels = input->getTensorDesc().getDims()[1];
size_t h = input->getTensorDesc().getDims()[2];
size_t w = input->getTensorDesc().getDims()[3];
size_t image_size = h*w;
Mat blob_image;
resize(src, blob_image, Size(w, h));
printf("input channel : %d, height : %d, width : %d n", num_channels, h, w);
// NCHW
unsigned char* data = static_cast<unsigned char*>(input->buffer());
for (size_t row = 0; row < h; row++) {
for (size_t col = 0; col < w; col++) {
for (size_t ch = 0; ch < num_channels; ch++) {
data[image_size*ch + row*w + col] = blob_image.at<Vec3b>(row, col)[ch];
}
}
}
}

最后执行推理,完成对输出的解析,在解析输出的时候其实输的是[NCHW] = [1x3x1080x1920]的浮点数矩阵,需要转换为Mat类型为[HWC] =[1080x1920x3],采用的是循环方式,是不是有更好的数据处理方法可以转换这个,值得研究。解析部分的代码如下

// 执行预测
infer_request.Infer();
// 处理输出结果
for (auto &item : output_info) {
auto output_name = item.first;
// 获取输出数据
auto output = infer_request.GetBlob(output_name);
float* buff = static_cast<PrecisionTrait<Precision::FP32>::value_type*>(output->buffer());
const int c = output->getTensorDesc().getDims()[1];
const int h = output->getTensorDesc().getDims()[2];
const int w = output->getTensorDesc().getDims()[3];
// 获得输出的超像素图像
Mat result = Mat::zeros(Size(w, h), CV_32FC3);
for (int ch = 0; ch < c; ch++) {
for (int row = 0; row < h; row++) {
for (int col = 0; col < w; col++) {
result.at<Vec3f>(row, col)[ch] = buff[ch*w*h+ row*w + col];
}
}
}
printf("channel : %d, height : %d, width : %d n", c, h, w);
normalize(result, result, 0, 255.0, NORM_MINMAX);
result.convertTo(result, CV_8U);
imshow("High-Resolution Demo", result);
imwrite("D:/result.png", result);
}

测试结果分别如下:(原图)

a6def3b4274a49c1d8d5afc3e8a9abad.png

超分辨输出:(1920x1080)

ab0e3a0a8835d920095dfc248f0afefe.png

总结

也许模型被简化的太厉害了,速度是很快了,单身效果感觉比双立方好那么一点点而已!

本文提出了一种基于注意的方法来区分纹理区域和平滑区域。当高频细节的位置被定位时,注意机制起到了增强高频特征和抑制平滑区域噪声的特征选择器的作用。因此,本文的方法避免了盲目地恢复高频细节。本文将该机制集成到包括SRResNet、VDSR和DRCN的SISR网络中,提高了这些SISR网络的性能。因此,本文验证了注意机制的有效性。对于特征重构网络,本文提出了DenseRes块,它提供了一种将低层特征和高层特征相结合的有效方法。通过多个致密块的级联,本文的网络有一个大的接收场。因此,从LR图像中获取有用的大区域上下文信息,以恢复HR图像中的高频细节。与目前最先进的方法相比,本文的方法具有最好的性能。今后,本文将探索注意机制在视频超分辨率中的应用,以产生直观、定量的高质量结果。

d58876c980429875d4a9d4ec5676bb85.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/534116.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

dubbo全局异常处理_基于spring aop的dubbo异常统一处理

dubbo统一异常处理&#xff0c;调用方只显示封装后的异常。1、返回封装后的Exception2、返回封装后的统一返回信息import org.aspectj.lang.annotation.AfterThrowing;import org.aspectj.lang.annotation.Aspect;import org.slf4j.Logger;import org.slf4j.LoggerFactory;impo…

python123平台作业答案第十一周_马哥2016全新Linux+Python高端运维班第十次作业

系统的INPUT和OUTPUT默认策略为DROP&#xff0c;请完成以下关于iptables的题目&#xff1b;iptables -A INPUT -d 10.18.11.13 -p tcp --dport 22 -j ACCEPT #允许ssh端口 iptables -A OUTPUT -s 10.18.11.13 -p tcp --sport 22 -j ACCEPT iptables -P OUTPUT DROP #设置OUTPUT…

义教志愿服务系统c语言,[志愿服务]以己为师 东科学子义教传爱心

为积极响应国家教育计划&#xff0c;丰富孩子们的暑期生活&#xff0c;进一步落实“春泥”课堂先进义教理念&#xff0c;7月12日&#xff0c;浙江海洋大学东海科学技术学院大学生“海岛征程十五载&#xff0c;红色基因永传承”赴蚂蚁岛实践团23名队员走进蚂蚁岛文化礼堂&#x…

主动断开socket链接_TCP连接与断开详解(socket通信)

http://blog.csdn.net/Ctrl_qun/article/details/52518479一、TCP数据报结构以及三次握手TCP(Transmission Control Protocol&#xff0c;传输控制协议)是一种面向连接的、可靠的、基于字节流的通信协议&#xff0c;数据在传输前要建立连接&#xff0c;传输完毕后还要断开连接。…

大整数算术求值 c语言 栈,用C语言实现 多位整数的四则运算,用栈,例如56*(12+20)-102/2...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼gets(szExpression);// 中缀表达式转后缀表达式&#xff0c;结果保存在expression中for (int i 0; i < strlen(szExpression); i){if (isspace(szExpression[i])) // 空白字符{if (bFindBegin){expression[num].type 1;expres…

java可视化压缩_WEB可视化技术发展

EverCraft一直在关注Web可视化技术的发展&#xff0c;本文对国外一篇感觉很不错的综述性文章进行翻译&#xff0c;供这一领域的爱好者相互学习。这篇paper的信息为&#xff1a;“Mwalongo, F., et al., State-of-the-Art Report in Web-based Visualization. COMPUTER GRAPHICS…

thumbdata4删除后果_安卓手机上巨大的.thumbdata4图片预读缓存清理方法

以下是目前找到比较有效的帮 .thumbdata4-文件瘦身的好方法.下面的一大堆废话的核心就是进手机设置>应用程序>显示系统程序>媒体存储器>存储>清除数据/缓存.重启后会发现thumbdata还会出现但是没有数GB那么大了.How do I Reset the AndroidMedia Scan Database?…

android自定义alertdialog不现实输入法,自定义的dialog中的EditText无法弹出输入法解决方案...

1.解决无法弹出输入法&#xff1a;在show()方法调用之前&#xff0c;用dialog.setView(new EditText(context))添加一个空的EditText&#xff0c;由于是自定义的AlertDialog&#xff0c;有我们指定的布局&#xff0c;所以设置这个不会影响我们的功能&#xff0c;这样就可以弹出…

python爬取微博内容_请问该如何通过python调用新浪微博的API来爬取数据?

1&#xff1a;安装python(这个不多说啦) 2&#xff1a;下载新浪微博SDK的python包&#xff0c;解压为weibopy目录 3&#xff1a;申请AppKey&#xff0c; 流程&#xff1a; 1&#xff1a;通过oAuth认证 按我的理解简化如下&#xff1a; 用户在新浪微博给的页面输入账号密码&…

android 保活方案_Android 后台保活手段总结 (上篇)

Android 后台保活手段总结 (上篇)由于众所周知的限制&#xff0c;在国内无法使用GCM推送服务&#xff0c;想要自己搭建推送服务的话&#xff0c;有两个绕不开的技术点&#xff0c;一个是TCP长连的保活&#xff0c;另一个就是后台进程的保活。虽然看起来是老生常谈的问题&#x…

linux修改栈指针x86,为什么x86-64 Linux系统调用会修改RCX,这个值意味着什么?

我正在尝试使用sys_brk syscall在linux中分配一些内存.这是我尝试过的&#xff1a;BYTES_TO_ALLOCATE equ 0x08section .textglobal _start_start:mov rax, 12mov rdi, BYTES_TO_ALLOCATEsyscallmov rax, 60syscall根据linux调用约定,我希望返回值在rax寄存器中(指向已分配内存…

wordpress phpmyadmin_西部数码使用指南:虚拟主机WordPress部署SSL注意事项

版权归西部数码所有&#xff0c;原文链接&#xff1a;https://www.west.cn/faq/list.asp?unid2068注意事项&#xff1a;1.如果您的主题/插件使用绝对地址调用了http请求可能会导致网站打开会乱码&#xff0c;或不能有绿锁标识&#xff0c;需要联系程序提供商将所有http请求修改…

android html转pdf工具,android – 使用iText库将html转换为pdf时未应用hr的内联CSS

我是.NET开发人员,因此代码在C#中.但是你应该能够轻松翻译以下内容.iText是一个PDF优先的库,[X] HTML解析非常复杂,因此在这方面并不完整.每当解析[X] HTML并且事情不按预期的方式进行特定标记时,您应遵循的基本步骤是&#xff1a;>验证XML Worker支持标记&#xff1a;Tags …

python 小说爬虫_从零开始写Python爬虫 --- 1.7 爬虫实践: 排行榜小说批量下载

从零开始写Python爬虫 --- 1.7 爬虫实践&#xff1a; 排行榜小说批量下载Ehco 5 个月前 本来只是准备做一个爬起点小说名字的爬虫&#xff0c;后来想了一下&#xff0c;为啥不顺便把小说的内容也爬下来呢&#xff1f;于是我就写了这个爬虫&#xff0c;他爬下了各类小说排行榜上…

java 某个字符在字符串中出现的所有位置_Java面试常考核心概念

这篇文章专注于Java基础知识&#xff0c;不涉及List、Map、多线程、锁相关的内容&#xff0c;需要的可以查看我的其他博客hofes blog​hhf443.github.ioJDK&JRE&JVMJDK&#xff08;Java Development Kit&#xff09;是针对 Java 开发员的产品&#xff0c;是整个 Java 的…

lan交换和无线教师手册_简单几步,无线路由器变交换机

当原来的路由器lan口不够用&#xff0c;可以加一个交换机扩展lan口数量&#xff0c;如果需要增加的lan口数量不超过3个可以考虑找台不用的无线路由器当交换机用。另外&#xff0c;随着交换机更新家中都有旧无线路由器闲置&#xff0c;完全可以再次利用。下面看一下&#xff0c;…

Linux fast open,Linux内核3.7 TCP Fast Open验证实例

Linux内核在3.6和3.7合入了TCP Fast Open特性&#xff0c;在3.7.3版本上验证了一下&#xff0c;I did it!以下是C语言实例()&#xff1a;server端代码&#xff1a;#include /* See NOTES */#include#include#includeint main(){int portno 5060;socklen_t clilen;char buffer[…

vue 怎么全局到入常量_Vue 中如何定义全局的变量和常量(转)

17.6k 次阅读 读完需要 10 分钟7Vue 中如何定义全局的变量和常量我想要定义一个变量, 在项目的任何地方都可以访问到, 不需要每一次使用的时候, 都引入.尝试1:创建 global.js 并且在其中定义let a 10;在入口文件中引入 global.jsimport ./global.js在项目中使用:a// 报错发…

revit找不到附加模块程序集_TensorFlow基础知识——常用模块(一)

1本节简述对于开展深度学习开发的目标而言&#xff0c;我们需要掌握的除了必要的深度学习理论基础、必要的开发依赖库基础知识、基本的开发套路之外&#xff0c;我们还需要掌握它常见的外围小帮手都有哪些。这些小帮手就是深度学习依赖库中的其他并不是核心的模块&#xff0c;但…

android搭建opencv开发环境,Android Studio搭建opencv开发环境

文章不配图片&#xff0c;阅读需要有Android开发基础并熟悉Android Studio。一、搭建基于Java开发环境以下内容介绍如何搭建基于Java jni的opencv开发环境。1、准备工作从opencv官网下载Android平台开发sdk并解压&#xff0c;假设解压后文件夹名为opencv-4.3.0-android-sdk。(此…