一、学习目标
- 了解了直方图反向投影的一般流程
- 了解2D直方图的使用
如有错误欢迎指出~
二、了解直方图反向投影
2.1 了解2D直方图
需要对直方图进行反向投影,需要使用2D直方图。2D直方图需要使用calcHist方法。calcHist方法在前两节中已经有了解,现在再来复习一下。首先我们查看calcHist方法的原型。
calcHist(images; channels; mask; histSize; ranges[; hist[; accumulate]])
calcHist方法中images参数为所需要传入的图像,接受类型为uint8以及float32,参入参数时可以使用[]对参数进行标记;
channels为传入的通道数;
mask为一个遮罩,如果为None则表示对全图进行操作,若选择其中一个部分就需要制作一个遮罩对局部进行操作;
histSize为一个范围,或者说是BIN的数目;
ranges表示像素值范围。
我们要绘制一个颜色直方图的话,需要对BGR色彩空间进行转换,转换为HSV:
import cv2
import numpy as np
from matplotlib import pyplot as pltimg = cv2.imread(r'C:\Users\mx\Desktop\1.jpg')hsv = cv2.cvtColor(img,cv2.COLOR_BGR2HSV)
随后我们使用calcHist方法传入数值,这个时候channels应该为[0,1],mask我们依旧为None,因为我们需要处理全图;而histSize则表示了两个通道,H以及S,所以应该写成[180,256],即H通道为180,S通道为256,最后一个range则为[0,180,0,256],表示H取值范围在和S的取值范围。那么整体的代码如下:
import cv2
import numpy as np
from matplotlib import pyplot as pltimg = cv2.imread(r'C:\Users\mx\Desktop\1.jpg')hsv = cv2.cvtColor(img,cv2.COLOR_BGR2HSV)hist = cv2.calcHist([hsv], [0,1], None, [180,256], [0,180,0,256])plt.imshow(hist, interpolation='nearest')
plt.show()
结果如下:
2.2 了解直方图反向投影
直方图反向投影可以在图像中找到我们感应区的部分,直方图反向投影将会输出模板图像中类似的部分,越亮的的部分则表示得越白。我们需要完成这个操作首先得有一张需要查找的对象,随后需要一张图为查找区域。我们可以先对需要查找目标的图像创建一个直方图,随后进行归一化处理。归一化处理使用normalize方法。
首先我们进行读取图片与转换HSV色彩空间图,也顺带一起读取目标扫描的图片,原图和目标图、代码如下:
原图:
目标图:
roi = cv2.imread(r'C:\Users\mx\Desktop\gz\roi.png')
hsv_roi = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV)
target = cv2.imread(r'C:\Users\mx\Desktop\gz\4.png')
hsv_target = cv2.cvtColor(target,cv2.COLOR_BGR2HSV)
随后对hsv_roi 感兴趣的部分进行2D直方图处理:
roihist = cv2.calcHist([hsv_roi],[0, 1], None, [180, 256], [0, 180, 0, 256] )
接下来使用normalize方法进行归一化;归一化是将数据达到一种可进行对比的标准,但是保持了原有数据间的关系。代码为:
cv2.normalize(roihist,roihist,0,255,cv2.NORM_MINMAX)
其中roihist为输入数据,roihist为与src大小相同的输出数据,0为一个范围低边界,255为范围的上限,cv2.NORM_MINMAX是一个归一化的方法,表示对数组的所有值进行转化,使值的映射在最小值和最大值之间。这样归一化后他们的值就在0到255之间了。接着我们使用calcBackProject方法,calcBackProject方法与calcHist的参数类似。 cvCalcBackProject 用于计算直方图的反向投影,得到的结果是数组在某个分布下的概率。
dst = cv2.calcBackProject([hsv_target],[0,1],roihist,[0,180,0,256],1)
随后使用getStructuringElement方法进行卷积,把分散点连接:
gSEE = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5))
dst=cv2.filter2D(dst,-1,gSEE)
接着使用阀值方法:
ret,thresh = cv2.threshold(dst,50,255,0)
最后进行合并:
trh = cv2.merge((trh,trh,trh))
完整代码如下:
import cv2
import numpy as np
from matplotlib import pyplot as pltroi = cv2.imread(r'C:\Users\mx\Desktop\gz\roi.png')
hsv_roi = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV)
target = cv2.imread(r'C:\Users\mx\Desktop\gz\4.png')
hsv_target = cv2.cvtColor(target,cv2.COLOR_BGR2HSV)roihist = cv2.calcHist([hsv_roi],[0, 1], None, [180, 256], [0, 180, 0, 256] )
cv2.normalize(roihist,roihist,0,255,cv2.NORM_MINMAX)
dst = cv2.calcBackProject([hsv_target],[0,1],roihist,[0,180,0,256],1)
gSEE = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5))
dst=cv2.filter2D(dst,-1,gSEE)
ret,trh = cv2.threshold(dst,50,255,0)
trh = cv2.merge((trh,trh,trh))
cv2.imshow('trh',trh)
cv2.waitKey(0)
cv2.destroyAllWindows()
结果如下:
当然我们也可以进行位运算,这样我们就可以取出颜色部分了,所有完整代码如下:
import cv2
import numpy as np
from matplotlib import pyplot as pltroi = cv2.imread(r'C:\Users\mx\Desktop\gz\roi.png')
hsv_roi = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV)
target = cv2.imread(r'C:\Users\mx\Desktop\gz\4.png')
hsv_target = cv2.cvtColor(target,cv2.COLOR_BGR2HSV)roihist = cv2.calcHist([hsv_roi],[0, 1], None, [180, 256], [0, 180, 0, 256] )
cv2.normalize(roihist,roihist,0,255,cv2.NORM_MINMAX)
dst = cv2.calcBackProject([hsv_target],[0,1],roihist,[0,180,0,256],1)
gSEE = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5))
dst=cv2.filter2D(dst,-1,gSEE)ret,trh = cv2.threshold(dst,50,255,0)
trh = cv2.merge((trh,trh,trh))
cv2.imshow('trh',trh)
res = cv2.bitwise_and(target,trh)
cv2.imwrite('res.jpg',res)
cv2.imshow('res',res)
cv2.waitKey(0)
cv2.destroyAllWindows()
结果如下:
我们也可以换一下图:
roi:
目标:
结果:
该系列首发于ebaina