OpenCV4.9如何将失焦图片去模糊滤镜(67)

返回:OpenCV系列文章目录（持续更新中......）

上一篇:OpenCV4.9的基于距离变换和分水岭算法的图像分割(66)

下一篇 :OpenCV4.9去运动模糊滤镜(68)

目标

在本教程中，您将学习：

什么是退化图像模型
失焦图像的 PSF 是多少
如何恢复模糊的图像
什么是维纳过滤器

理论

注意

该解释基于书籍[108]和[325]。另外，您可以参考 Matlab 的教程 Matlab 中的图像去模糊和文章 SmartDeblur.

图像去模糊

图像的模糊或退化可能由许多因素引起：

在图像捕获过程中，通过相机移动或长时间移动曝光时间由受试者使用
失焦光学元件、使用广角镜头、大气湍流或曝光时间短，可减少捕获的光子数量
共聚焦显微镜中的散射光畸变

模糊或退化的图像可以用以下方程 g = Hf + n 近似描述。

g	模糊的图像
H	失真算子，也称为点扩散函数（PSF）。在空间域中，PSF 描述光学系统模糊（扩散）的程度光点。PSF 是光传递函数（OTF）。在频域中，OTF 描述了线性、位置不变系统对冲动。OTF 是点差的傅里叶变换函数（PSF）。失真运算符，当与图像，创建失真。点扩散引起的失真功能只是失真的一种类型。
f	原始真实图像注意图像 f 并没有真正存在。这张图片代表了如果你拥有的话，你会拥有什么完美的图像采集条件。
n	图像采集过程中引入的加法噪声会损坏图像

基于该模型，去模糊的基本任务是对模糊进行反卷积具有准确描述失真的 PSF 的图像。反卷积是一个过程逆转卷积的影响。

注意

去模糊图像的质量主要取决于对 PSF。

此页面上的失焦图像是真实世界的图像。失焦是通过相机光学器件手动实现的。

什么是退化图像模型？

以下是频域表示中图像退化的数学模型：

其中(S)是模糊(退化)图像的频谱，(U)是原始真实(未退化)图像的频谱，(H)是点扩散函数（PSF）的频率响应,(N)是加性噪声的频谱。

圆形 PSF 是离焦失真的一个很好的近似值。这样的 PSF 仅由一个参数指定 - 半径(R)。本工作使用圆形 PSF。

圆形点扩散功能

如何恢复模糊的图像？

恢复(去模糊)的目的是获得原始图像的估计值。频域中的恢复公式为：

其中(U)是原始图像(U)的估计光谱，(H_w)是恢复滤波器，例如维纳滤波器。

什么是维纳过滤器？

维纳滤镜是一种恢复模糊图像的方法。假设PSF是一个真实对称的信号，原始真实镜像和噪声的功率谱是未知的，那么一个简化的维纳公式是：

其中(SNR)是信噪比。

因此，为了通过维纳滤波器恢复失焦图像，它需要知道圆形PSF的(SNR)和(R)。

源代码

您可以在 OpenCV 源代码库中找到源代码。samples/cpp/tutorial_code/ImgProc/out_of_focus_deblur_filter/out_of_focus_deblur_filter.cpp

#include <iostream>
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/imgcodecs.hpp"using namespace cv;
using namespace std;void help();
void calcPSF(Mat& outputImg, Size filterSize, int R);
void fftshift(const Mat& inputImg, Mat& outputImg);
void filter2DFreq(const Mat& inputImg, Mat& outputImg, const Mat& H);
void calcWnrFilter(const Mat& input_h_PSF, Mat& output_G, double nsr);const String keys =
"{help h usage ? | | print this message }"
"{image |original.jpg | input image name }"
"{R |5 | radius }"
"{SNR |100 | signal to noise ratio}"
;int main(int argc, char *argv[])
{help();CommandLineParser parser(argc, argv, keys);if (parser.has("help")){parser.printMessage();return 0;}int R = parser.get<int>("R");int snr = parser.get<int>("SNR");string strInFileName = parser.get<String>("image");samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/out_of_focus_deblur_filter/images");if (!parser.check()){parser.printErrors();return 0;}Mat imgIn;imgIn = imread(samples::findFile( strInFileName ), IMREAD_GRAYSCALE);if (imgIn.empty()) //check whether the image is loaded or not{cout << "ERROR : Image cannot be loaded..!!" << endl;return -1;}Mat imgOut;// it needs to process even image onlyRect roi = Rect(0, 0, imgIn.cols & -2, imgIn.rows & -2);//Hw calculation (start)Mat Hw, h;calcPSF(h, roi.size(), R);calcWnrFilter(h, Hw, 1.0 / double(snr));//Hw calculation (stop)// filtering (start)filter2DFreq(imgIn(roi), imgOut, Hw);// filtering (stop)imgOut.convertTo(imgOut, CV_8U);normalize(imgOut, imgOut, 0, 255, NORM_MINMAX);imshow("Original", imgIn);imshow("Debluring", imgOut);imwrite("result.jpg", imgOut);waitKey(0);return 0;
}void help()
{cout << "2018-07-12" << endl;cout << "DeBlur_v8" << endl;cout << "You will learn how to recover an out-of-focus image by Wiener filter" << endl;
}void calcPSF(Mat& outputImg, Size filterSize, int R)
{Mat h(filterSize, CV_32F, Scalar(0));Point point(filterSize.width / 2, filterSize.height / 2);circle(h, point, R, 255, -1, 8);Scalar summa = sum(h);outputImg = h / summa[0];
}void fftshift(const Mat& inputImg, Mat& outputImg)
{outputImg = inputImg.clone();int cx = outputImg.cols / 2;int cy = outputImg.rows / 2;Mat q0(outputImg, Rect(0, 0, cx, cy));Mat q1(outputImg, Rect(cx, 0, cx, cy));Mat q2(outputImg, Rect(0, cy, cx, cy));Mat q3(outputImg, Rect(cx, cy, cx, cy));Mat tmp;q0.copyTo(tmp);q3.copyTo(q0);tmp.copyTo(q3);q1.copyTo(tmp);q2.copyTo(q1);tmp.copyTo(q2);
}void filter2DFreq(const Mat& inputImg, Mat& outputImg, const Mat& H)
{Mat planes[2] = { Mat_<float>(inputImg.clone()), Mat::zeros(inputImg.size(), CV_32F) };Mat complexI;merge(planes, 2, complexI);dft(complexI, complexI, DFT_SCALE);Mat planesH[2] = { Mat_<float>(H.clone()), Mat::zeros(H.size(), CV_32F) };Mat complexH;merge(planesH, 2, complexH);Mat complexIH;mulSpectrums(complexI, complexH, complexIH, 0);idft(complexIH, complexIH);split(complexIH, planes);outputImg = planes[0];
}void calcWnrFilter(const Mat& input_h_PSF, Mat& output_G, double nsr)
{Mat h_PSF_shifted;fftshift(input_h_PSF, h_PSF_shifted);Mat planes[2] = { Mat_<float>(h_PSF_shifted.clone()), Mat::zeros(h_PSF_shifted.size(), CV_32F) };Mat complexI;merge(planes, 2, complexI);dft(complexI, complexI);split(complexI, planes);Mat denom;pow(abs(planes[0]), 2, denom);denom += nsr;divide(planes[0], denom, output_G);
}

解释

失焦图像恢复算法包括 PSF 生成、Wiener 滤波器生成和频域模糊图像滤波：

 // it needs to process even image onlyRect roi = Rect(0, 0, imgIn.cols & -2, imgIn.rows & -2);//Hw calculation (start)Mat Hw, h;calcPSF(h, roi.size(), R);calcWnrFilter(h, Hw, 1.0 / double(snr));//Hw calculation (stop)// filtering (start)filter2DFreq(imgIn(roi), imgOut, Hw);// filtering (stop)

函数 calcPSF()根据输入参数半径(R)形成一个圆形 PSF：

void calcPSF(Mat& outputImg, Size filterSize, int R)
{Mat h(filterSize, CV_32F, Scalar(0));Point point(filterSize.width / 2, filterSize.height / 2);circle(h, point, R, 255, -1, 8);Scalar summa = sum(h);outputImg = h / summa[0];
}

函数 calcWnrFilter()根据上述公式合成简化的 Wiener 过滤器(H_w)：

void calcWnrFilter(const Mat& input_h_PSF, Mat& output_G, double nsr)
{Mat h_PSF_shifted;fftshift(input_h_PSF, h_PSF_shifted);Mat planes[2] = { Mat_<float>(h_PSF_shifted.clone()), Mat::zeros(h_PSF_shifted.size(), CV_32F) };Mat complexI;merge(planes, 2, complexI);dft(complexI, complexI);split(complexI, planes);Mat denom;pow(abs(planes[0]), 2, denom);denom += nsr;divide(planes[0], denom, output_G);
}

函数 fftshift()重新排列 PSF。此代码刚刚从离散傅里叶变换教程中复制而来：

void fftshift(const Mat& inputImg, Mat& outputImg)
{outputImg = inputImg.clone();int cx = outputImg.cols / 2;int cy = outputImg.rows / 2;Mat q0(outputImg, Rect(0, 0, cx, cy));Mat q1(outputImg, Rect(cx, 0, cx, cy));Mat q2(outputImg, Rect(0, cy, cx, cy));Mat q3(outputImg, Rect(cx, cy, cx, cy));Mat tmp;q0.copyTo(tmp);q3.copyTo(q0);tmp.copyTo(q3);q1.copyTo(tmp);q2.copyTo(q1);tmp.copyTo(q2);
}

函数 filter2DFreq()过滤频域中的模糊图像：

void filter2DFreq(const Mat& inputImg, Mat& outputImg, const Mat& H)
{Mat planes[2] = { Mat_<float>(inputImg.clone()), Mat::zeros(inputImg.size(), CV_32F) };Mat complexI;merge(planes, 2, complexI);dft(complexI, complexI, DFT_SCALE);Mat planesH[2] = { Mat_<float>(H.clone()), Mat::zeros(H.size(), CV_32F) };Mat complexH;merge(planesH, 2, complexH);Mat complexIH;mulSpectrums(complexI, complexH, complexIH, 0);idft(complexIH, complexIH);split(complexIH, planes);outputImg = planes[0];
}