2016年认证杯SPSSPRO杯数学建模B题(第二阶段)多帧图像的复原与融合全过程文档及程序

2016年认证杯SPSSPRO杯数学建模

B题多帧图像的复原与融合

原题再现：

数码摄像技术被广泛使用于多种场合中。有时由于客观条件的限制，拍摄设备只能在较低的分辨率下成像。为简单起见，我们只考虑单色成像。假设成像的分辨率为 32 × 64，成像方式是将整个矩形视野划分成 32 × 64 个相同大小的矩形格子，图像中每个像素的取值为对应格子的亮度平均值。每间隔一定时间拍摄一帧图像，运动的画面体现为图像的序列。
第二阶段问题：对一副静态的图像而言，每个像素对应于视野中的一个格子，每个格子内部的细节信息已经无法还原。但如果在视野移动的过程中拍摄系列图像，我们通过对多帧图像进行对比分析，仍然有可能还原出来一些在单张照片中无法体现的细节。请建立合理的数学模型和算法，通过对多帧图像进行分析，尽可能多地还原出被摄物的细节。

整体求解过程概述(摘要)

随着计算机技术的发展，人们对于图像美观的需求越来越高，图像处理技术也逐渐成为了一个热点问题。然而，人们所得到的图像并不一定是清晰而且完整的。在对图像的进行收集时，有众多的因素会引起所收集图像的分辨率的下降和图像失真，其主要表现为模糊、噪声和丢失像素点。造成模糊的因素有很多，例如由被拍摄的运动对象所带来的运动模糊现象、拍摄仪器的大光圈所带来的散焦现象以及当矢量图转化为位图时所导致的失真现象等。为了解决以上问题，我们对多种算法进行了分析比较：
对于低分辨率下运动图片中的细节缺失问题，我们使用了基于维纳滤波器的几何均值滤波算法作为基础的复原模型。我们对多张合适的单色、模糊图片进行统计分析并优化得到合适的算法。通过实验我们发现：要保证模型所匹配到缺失细节的数量和准确度，需要重点考虑两点因素：相邻两幅运动图像的相似程度和特征块匹配及其融合。对于前者，我们使用了交叉熵和峰值信噪比作为评判指标；对于后者，我们在不同情况分别使用了傅里叶变换、小波变换的方式择优进行融合。
在模型的对比验证阶段，我们分别利用了传统滤波算法和本文提出的多帧图像复原与融合模型进行图像复原，并通过实验体现了我们提出模型的效率；最后，我们使用峰值信噪比、信息熵、均方差等数据进行实验结果分析并验证了模型的健壮性。

问题分析：

题目要求研究单色成像，那么每一个像素点的区别就是用格子的亮度来表示。对于一个32×64 的矩阵格子，我们可以生成一个大小为32×64 的亮度矩阵来模拟视野中观察到的图像。随着物体在视野区域向某个方向移动，亮度矩阵会随之有规律的变化。
题目没有明确规定间隔多少时间拍摄一帧图像。由于视野向某个方向缓慢运动，不同的时间间隔拍摄图像，在同一帧中视野区域内容也不一样。将拍摄时间间隔作为变量，建立的算法要求在足够大的拍摄时间间隔下实现较高的识别度。
题目要求通过多帧图像对比分析还原出在单张照片中无法体现的细节。在建立模型的过程中，我们仍需考虑现有的单张图片还原算法处理模糊图片，再将本文的算法模型进行对比，体现出多帧图像处理的优势。题目要求尽可能多的还原出被摄物的细节。即在不限定算法时间复杂度的前提下（电脑能够运行完成算法即可），还原出被摄物最多的细节。
被摄物的细节可以由主观评价和客观评价组成。主观评价可以由多准则决策方法实现。但由于该题需要客观地评价被摄物的细节，我们的模型通过大量客观的图像评价指标评价算法细节还原效率以及准确度，主观评价部分展示经过算法处理的图片，文中不作主观评价。

模型假设：

1. 假设计算机能接受的亮度的范围为0至255。那么亮度矩阵表示为由0至255构成，大小为32×64 的亮度矩阵。
2. 假设原始的图像噪声足够少，使得肉眼能够分辨出图片的部分细节。
3. 假设拍摄的时间间隔足够小，使相邻两组视野中图像有相同的特征便于算法提取。
4. 假设相机在运动过程拍摄的照片会产生模糊，从而导致照片细节不清晰。
5. 假设选取的进行实验的20张随机图片样本可以代表总体。
6. 假设算法运行的实验环境相同。

论文缩略图：

在这里插入图片描述

全部论文请见下方“ 只会建模 QQ名片” 点击QQ名片即可

部分程序代码：(代码和文档not free)

1 clc
2 clear all
3 close all
4 %for i=1:2
5 I=imread(’7.png’);
6 %subplot(231);
7 figure(1)
8 imshow(I);
9 I=rgb2gray(I);
10 %subplot(232);
11 figure(2)
12 imshow(I);
13 noise=0.1*randn(size(I));
14 PSF=fspecial(’motion’,21,11);
15 Blurred=imfilter(I,PSF,’circular’);
16 BlurredNoisy=im2uint8(Blurred);
17 NP=abs(fftn(noise)).ˆ2;
18 NPOW=sum(NP(:)/prod(size(noise)));
19 NCORR=fftshift(real(ifftn(NP)));
20 IP=abs(fftn(I)).ˆ2;
21 IPOW=sum(IP(:)/prod(size(noise)));
22 ICORR=fftshift(real(ifftn(IP)));
23 ICORR1=ICORR(:,ceil(size(I,1)/2));
24 NSR=NPOW/IPOW;
25 %subplot(233);
26 figure(3)
27 imshow(BlurredNoisy,[]);
28 %title(’第一帧’);
29 %subplot(234);
30 figure(4)
31 imshow(deconvwnr(BlurredNoisy,PSF),[]);
32 %title(’deconbwnr(A,PSF,NSR)’);
33 %subplot(235);
34 figure(5)
35 imshow(deconvwnr(BlurredNoisy,PSF,NCORR,ICORR),[]);
36 %title(’deconbwnr(A,PSF,NCORR,ICORR)’);
37 %subplot(236);
38 figure(6)
39 pic=imshow(deconvwnr(BlurredNoisy,PSF,NPOW,ICORR1),[]);
40 %title(’deconbwnr(A,PSF,NPOW,ICORR_1_D)’);
41 %end

1 load wbarb; X1 = X; map1 = map; subplot( 2,2,1) ;
2 image( X1) ; colormap( map1) ; title( ’图像wbarb’) ;
3 load woman; X2 = X; map2 = map; subplot( 2,2,2) ;
4 image( X2) ; colormap( map2) ; title( ’图像woman’) ;
5 [C1,L1]= wavedec2( X1,2,’sym4’) ; [C2,L2]=wavedec2( X2,2,’sym4’) ; C = C1
+ C2;
6 XX = waverec2( C,L1,’sym4’) ; subplot( 2,2,3) ; image( XX) ; colormap(map1) ; title( ’小波融
合1’) ;
7 Csize1 = size( C1) ;
8 for i = 1: Csize1( 2)
9 C1( i) = 1.2*C1( i) ;
10 end
11 Csize2 = size( C2) ;
12 for j = 1: Csize2( 2)
13 C2( j) = 0.8* C2( j) ;
14 end
15 C = 0.5* ( C1 + C2) ; XXX = waverec2( C,L2,’sym4’) ;
16 subplot( 2,2,4) ; image( XXX) ; colormap( map2) ; title( ’小波融合2’);