返回:OpenCV系列文章目录(持续更新中......)
上一篇:OpenCV如何实现背投
下一篇 :OpenCV在图像中寻找轮廓
目标
在本教程中,您将学习如何:
- 使用 OpenCV 函数 matchTemplate()搜索图像贴片和输入图像之间的匹配项
- 使用 OpenCV 函数 minMaxLoc()查找给定数组中的最大值和最小值(以及它们的位置)。
理论
什么是模板匹配?
模板匹配是一种用于查找图像中与模板图像(补丁)匹配(相似)的区域的技术。
虽然补丁必须是一个矩形,但可能不是所有的矩形都是相关的。在这种情况下,可以使用掩码来隔离补丁中应该用于查找匹配项的部分。
它是如何工作的?
-
我们需要两个主要组件:
- 源图像(I):我们希望在其中找到与模板图像匹配的图像
- 模板图像(T):将与源图像进行比较的修补图像
我们的目标是检测匹配度最高的区域:
- 要识别匹配区域,我们必须通过滑动模板图像将模板图像与源图像进行比较:
- 滑动是指一次移动一个像素(从左到右,从上到下)。在每个位置,都会计算一个指标,以表示该位置的匹配程度(或补丁与源图像的特定区域的相似程度)。
- 对于 T 相对于 I 的每个位置,将指标存储在结果矩阵 R 中。R 中的每个位置 (x,y)都包含匹配指标:
上图是用公制TM_CCORR_NORMED滑动贴片的结果 R。最亮的位置表示匹配度最高。如您所见,红色圆圈标记的位置可能是值最高的位置,因此该位置(由该点形成的矩形作为角,宽度和高度等于补丁图像)被视为匹配。
- 在实践中,我们使用函数 minMaxLoc()在 R 矩阵中找到最高值(或更低值,具体取决于匹配方法的类型)
模板匹配如何工作的?
- 如果匹配需要遮罩,则需要三个组件:
- 源图像(I):我们希望在其中找到与模板图像匹配的图像
- 模板图像(T):将与源图像进行比较的修补图像
- 蒙版图像(M):蒙版,用于遮罩模板的灰度图像
- 目前只有两种匹配方法接受掩码:TM_SQDIFF 和 TM_CCORR_NORMED(有关 opencv 中可用的所有匹配方法的说明,请参见下文)。
- 蒙版的尺寸必须与模板相同
- 蒙版应具有CV_8U或CV_32F深度,以及与模板图像相同的通道数。CV_8U情况下,掩码值被视为二进制值,即零和非零。CV_32F情况下,这些值应落在 [0..1] 范围内,模板像素将乘以相应的蒙版像素值。由于示例中的输入图像具有CV_8UC3类型,因此掩码也被读取为彩色图像。
OpenCV 中可用的匹配方法有哪些?
问得好。OpenCV 在函数 matchTemplate()中实现模板匹配。可用的方法有 6 种:
1、方法=TM_SQDIFF
2、方法=TM_SQDIFF_NORMED
3、方法=TM_CCORR
4、方法=TM_CCORR_NORMED
′)2
5、方法=TM_CCOEFF
哪里
6、方法=TM_CCOEFF_NORMED
C++代码:
- 这个程序是做什么的?
- 加载输入图像、图像补丁(模板)和可选的蒙版
- 通过将 OpenCV 函数 matchTemplate() 与前面描述的 6 种匹配方法中的任何一种结合使用来执行模板匹配过程。用户可以通过在跟踪栏中输入其选择来选择方法。如果提供了掩码,则该掩码将仅用于支持掩码的方法
- 规范化匹配过程的输出
- 以更高的匹配概率定位位置
- 在与最高匹配项对应的区域周围绘制一个矩形
- 可下载代码: 点击这里
- 代码一览:
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <iostream>using namespace std;
using namespace cv;bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";int match_method;
int max_Trackbar = 5;void MatchingMethod( int, void* );const char* keys =
"{ help h| | Print help message. }"
"{ @input1 | Template_Matching_Original_Image.jpg | image_name }"
"{ @input2 | Template_Matching_Template_Image.jpg | template_name }"
"{ @input3 | | mask_name }";int main( int argc, char** argv )
{CommandLineParser parser( argc, argv, keys );samples::addSamplesDataSearchSubDirectory( "doc/tutorials/imgproc/histograms/template_matching/images" );img = imread( samples::findFile( parser.get<String>("@input1") ) );templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );if(argc > 3) {use_mask = true;mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );}if(img.empty() || templ.empty() || (use_mask && mask.empty())){cout << "Can't read one of the images" << endl;return EXIT_FAILURE;}namedWindow( image_window, WINDOW_AUTOSIZE );namedWindow( result_window, WINDOW_AUTOSIZE );const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );MatchingMethod( 0, 0 );waitKey(0);return EXIT_SUCCESS;
}void MatchingMethod( int, void* )
{Mat img_display;img.copyTo( img_display );int result_cols = img.cols - templ.cols + 1;int result_rows = img.rows - templ.rows + 1;result.create( result_rows, result_cols, CV_32FC1 );bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);if (use_mask && method_accepts_mask){ matchTemplate( img, templ, result, match_method, mask); }else{ matchTemplate( img, templ, result, match_method); }normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );double minVal; double maxVal; Point minLoc; Point maxLoc;Point matchLoc;minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED ){ matchLoc = minLoc; }else{ matchLoc = maxLoc; }rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );imshow( image_window, img_display );imshow( result_window, result );return;
}
解释
声明一些全局变量,例如图像、模板和结果矩阵,以及匹配方法和窗口名称:
bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";int match_method;
int max_Trackbar = 5;
加载源图像、模板,以及可选的掩码(如果匹配方法支持):
img = imread( samples::findFile( parser.get<String>("@input1") ) );templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );if(argc > 3) {use_mask = true;mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );}if(img.empty() || templ.empty() || (use_mask && mask.empty())){cout << "Can't read one of the images" << endl;return EXIT_FAILURE;}
创建跟踪栏以输入要使用的匹配方法的种类。检测到更改时,将调用回调函数。
const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
让我们来看看回调函数。首先,它复制源图像:
Mat img_display;img.copyTo( img_display );
执行模板匹配操作。参数自然是输入图像 I、模板 T、结果 R 和 match_method(由 Trackbar 给出),以及可选的蒙版图像 M。
bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);if (use_mask && method_accepts_mask){ matchTemplate( img, templ, result, match_method, mask); }else{ matchTemplate( img, templ, result, match_method); }
我们对结果进行归一化:
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
我们使用 minMaxLoc() 对结果矩阵 R 中的最小值和最大值进行本地化。
double minVal; double maxVal; Point minLoc; Point maxLoc;Point matchLoc;minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
对于前两种方法(TM_SQDIFF 和 MT_SQDIFF_NORMED),最佳匹配是最低值。对于所有其他值,较高的值表示更好的匹配。因此,我们将相应的值保存在 matchLoc 变量中:
if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED ){ matchLoc = minLoc; }else{ matchLoc = maxLoc; }
显示源图像和结果矩阵。在尽可能高的匹配区域周围绘制一个矩形:
rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );imshow( image_window, img_display );imshow( result_window, result );
结果
- 使用输入图像测试我们的程序,例如:
和模板图像:
生成以下结果矩阵(第一行是标准方法 SQDIFF、CCORR 和 CCOEFF,第二行是其规范化版本中的相同方法)。在第一列中,最暗的匹配度越好,对于其他两列,位置越亮,匹配度越高。
- 右边的匹配项如下所示(右边那个人的脸周围的黑色矩形)。请注意,CCORR 和 CCDEFF 给出了错误的最佳匹配,但是它们的规范化版本是正确的,这可能是因为我们只考虑“最高匹配”,而不是其他可能的高匹配。
参考文献:
1、《Template Matching》 -------Ana Huamán