项目任务及要求

• 任务书： 要为某家银行设计一套智能卡号识别的系统。
• 要求：传入一张图片，就自动输出信用卡图片中的数字。

项目实现思路

• 要实现此项目，首先要知道我们的目标是什么，我们的目标是对银行卡号识别，银行卡号都是数字，因此我们要找到一个模版且模版中有0~9的数字。然后对模版图像中的数字进行定位处理，每一个数字对应一个模版，这样有助于后期进行模版的对照。对模版处理好后，就应对银行卡的图像进行处理，通过对银行卡的一系列处理得到银行卡图像中数字的模版。在进行模版匹配，计算匹配得分，匹配得分最高的就是那个数字，再对数字进行组合、输出得到银行卡号。、

模版图像

银行卡图像

项目实现及代码

导入模块

import numpy as np
import argparse  # python内置库  不太熟，自行学习
import cv2
import myutils

其中myutils包需要自己创建，再项目目录创建一个名叫myutils.py文件就行了，其中两个函数分别用来进行排序和改变图像大小，内容为：

import cv2def sort_contours(cnts, method='left-to-right'):# 初始化 reverse 为 False，表示默认不使用逆序排序reverse = False# 初始化 i 为 0，用于后续选择排序依据的维度i = 0# 如果排序方法是 right-to-left 或 bottom-to-top，则设置为逆序排序if method == 'right-to-left' or method == 'bottom-to-top':reverse = True# 如果排序方法是 top-to-bottom 或 bottom-to-top，则选择 i 为 1，表示按垂直维度排序if method == 'top-to-bottom' or method == 'bottom-to-top':i = 1# 计算每个轮廓的外接矩形，并存储在 boundingBoxes 列表中boundingBoxes = [cv2.boundingRect(c) for c in cnts]# 将轮廓和其对应的外接矩形打包在一起，然后根据 lambda 函数指定的规则进行排序# b 是 (cnt, boundingBox) 元组，b[1] 是外接矩形，b[1][i] 表示根据 i 所指定的维度（i = 0 为水平方向，i = 1 为垂直方向）# 根据 reverse 决定是否逆序排序(cnts, boundingBoxes) = zip(*sorted(zip(cnts, boundingBoxes),key=lambda b: b[1][i], reverse=reverse))# 返回排序好的轮廓和外接矩形return cnts, boundingBoxesdef resize(image, width=None, height=None, inter=cv2.INTER_AREA):# 初始化 dim 为 None，用于存储调整后的图像尺寸dim = None# 获取图像的高度和宽度(h, w) = image.shape[:2]# 如果宽度和高度都未指定，直接返回原图像if width is None and height is None:return image# 如果仅指定了高度，计算宽度的缩放比例if width is None:r = height / float(h)dim = (int(w * r), height)# 如果仅指定了宽度，计算高度的缩放比例else:r = width / float(w)dim = (width, int(h * r))# 使用 cv2.resize 函数根据 dim 和指定的插值方法对图像进行缩放resized = cv2.resize(image, dim, interpolation=inter)# 返回缩放后的图像return resized

设置参数

• 通过导入argparse模块
  • 创建 ArgumentParser 对象。
  • 添加参数。
  • 解析命令行参数。
• 并指定银行卡类型，便于后期从字典中查找。
• 创建一个函数cv_show来展示图像。
• 导入参数
  • 
  • 

代码：

ap = argparse.ArgumentParser()  #
ap.add_argument("-i", "--image", required=True,help="path to input image")
ap.add_argument("-t", "--template", required=True,help="path to template OCR-A image")
args = vars(ap.parse_args())  # vars()是Python中的一个内置函数，用于返回对象的属性和值的字典。
# 指定信用卡类型
FIRST_NUMBER = {"3": "American Express","4": "Visa","5": "MasterCard","6": "Discover Card"}
def cv_show(name, img):  # 绘图展示cv2.imshow(name, img)cv2.waitKey(0)

对模版图像中数字的定位处理

• 导入图片
• 将图片转化为灰度图
• 再将灰度图再转化为二值图
• 计算图像轮廓得到图像外轮廓和终点坐标，并再图像中画出
• 将得到的轮廓，按从左到到右，从上到下排序
• 通过遍历得到每一个数字对应的像素值
  

代码：

img = cv2.imread(args["template"])
cv_show('img', img)
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)  # 灰度图
cv_show('ref', ref)
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]  # 二值图像
cv_show('ref', ref)
# 计算轮廓：cv2.findContours()函数接受的参数为二值图，即黑白的（不是灰度图）,
#   cv2.RETR_EXTERNAL只检测外轮廓，cv2.CHAIN_APPROX_SIMPLE只保留终点坐标
_, refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, refCnts, -1, (0, 0, 255), 3)
cv_show('img', img)
refCnts = myutils.sort_contours(refCnts, method="left-to-right")[0]  # 排序，从左到右，从上到下
digits = {}  # 保存模板中每个数字对应的像素值
for (i, c) in enumerate(refCnts):  # 遍历每一个轮廓(x, y, w, h) = cv2.boundingRect(c)  # 计算外接矩形并且resize成合适大小roi = ref[y:y + h, x:x + w]roi = cv2.resize(roi, (57, 88))  # 缩放到指定的大小digits[i] = roi  # 每一个数字对应每一个模板

银行卡的图像处理

读取输入图像，预处理

• 输入图像
• 重新设置图像大小
• 转化为灰度图
• 初始化卷积核
• 进行顶帽和开运算
  

代码：

# 读取输入图像，预处理
image = cv2.imread(args["image"])
cv_show('image', image)
image = myutils.resize(image, width=300)  # 设置图像的大小
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray', gray)
# 顶帽操作，突出图像中的亮细节，清除背景图，原因是背景颜色变化小，不被腐蚀掉。
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))  # 初始化卷积核
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)  # 顶帽 = 原始图像 - 开运算结果(先腐蚀后膨胀)
open = cv2.morphologyEx(gray, cv2.MORPH_OPEN, rectKernel)  # 顶帽 = 原始图像 - 开运算结果(先腐蚀后膨胀)
cv_show('open', open)
cv_show('tophat', tophat)

找到数字边框

• 通过闭操作（先膨胀，再腐蚀）将数字连在一起并进行二值化处理。
• 再重复一次上述操作。
• 计算轮廓并画出
• 遍历轮廓，根据条件找到数字部分像素区域
• 遍历每一个轮廓中的数字，得到每一个数字模版
  

代码：

# 1、通过闭操作（先膨胀，再腐蚀）将数字连在一起
closeX = cv2.morphologyEx(tophat, cv2.MORPH_CLOSE, rectKernel)
cv_show('gradX', closeX)
# THRESH_OTSU会自动寻找合适的阈值，适合双峰，需把阈值参数设置为0
thresh = cv2.threshold(closeX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('thresh', thresh)
# 再来一个闭操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)  # 再来一个闭操作
cv_show('thresh1', thresh)
# 计算轮廓
_, threshCnts, h = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img, cnts, -1, (0, 0, 255), 3)
cv_show('img', cur_img)
# 遍历轮廓,找到数字部分像素区域
locs = []
for (i, c) in enumerate(cnts):(x, y, w, h) = cv2.boundingRect(c)  # 计算外接矩形ar = w / float(h)# 选择合适的区域，根据实际任务来。if ar > 2.5 and ar < 4.0:if (w > 40 and w < 55) and (h > 10 and h < 20):  # 符合的留下来locs.append((x, y, w, h))
# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x: x[0])
output = []
# 遍历每一个轮廓中的数字
for (i, (gX, gY, gW, gH)) in enumerate(locs):groupOutput = []group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]  # 适当加一点边界cv_show('group', group)# 预处理group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]cv_show('group', group)# 计算每一组的轮廓group_, digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)digitCnts = myutils.sort_contours(digitCnts, method="left-to-right")[0]# 计算每一组中的每一个数值for c in digitCnts:# 找到当前数值的轮廓，resize成合适的的大小(x, y, w, h) = cv2.boundingRect(c)roi = group[y:y + h, x:x + w]roi = cv2.resize(roi, (57, 88))cv_show('roi', roi)

使用模版匹配，计算匹配得分

• 通过遍历后得到每一组的数字的模版
• 通过模版匹配得到每个数字的值，得到最合适的数字

代码：

 scores = []# 在模板中计算每一个得分for (digit, digitROI) in digits.items():# 模板匹配result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF)(_, score, _, _) = cv2.minMaxLoc(result)scores.append(score)# 得到最合适的数字groupOutput.append(str(np.argmax(scores)))

画出并打印结果