python 调c++生成的dll 中识别char *_基于tensorflow 实现端到端的OCR:二代身份证号识别...

最近在研究OCR识别相关的东西,最终目标是能识别身份证上的所有中文汉字+数字,不过本文先设定一个小目标,先识别定长为18的身份证号,当然本文的思路也是可以复用来识别定长的验证码识别的。 本文实现思路主要来源于Xlvector的博客,采用基于CNN实现端到端的OCR,下面引用博文介绍目前基于深度学习的两种OCR识别方法:

  • 把OCR的问题当做一个多标签学习的问题。4个数字组成的验证码就相当于有4个标签的图片识别问题(这里的标签还是有序的),用CNN来解决。
  • 把OCR的问题当做一个语音识别的问题,语音识别是把连续的音频转化为文本,验证码识别就是把连续的图片转化为文本,用CNN+LSTM+CTC来解决。

这里方法1主要用来解决固定长度标签的图片识别问题,而方法2主要用来解决不定长度标签的图片识别问题,本文实现方法1识别固定18个数字字符的身份证号。

环境依赖

  1. 本文基于tensorflow框架实现,依赖于tensorflow环境,建议使用anaconda进行python包管理及环境管理
  2. 本文使用freetype-py 进行训练集图片的实时生成,同时后续也可扩展为能生成中文字符图片的训练集,建议使用pip安装
 pip install freetype-py
  1. 同时本文还依赖于numpy和opencv等常用库
 pip install numpy cv2

知识准备

  1. 本文不具体介绍CNN (卷积神经网络)具体实现原理,不熟悉的建议参看集智博文卷积:如何成为一个很厉害的神经网络,这篇文章写得很
  2. 本文实现思路很容易理解,就是把一个有序排列18个数字组成的图片当做一个多标签学习的问题,标签的长度可以任意改变,只要是固定长度的,这个训练方法都是适用的,当然现实中很多情况是需要识别不定长度的标签的,这部分就需要使用方法2(CNN+lSTM+CTC)来解决了。

训练数据集生成

首先先完成训练数据集图片的生成,主要依赖于freetype-py库生成数字/中文的图片。其中要注意的一点是就是生成图片的大小,本文经过多次尝试后,生成的图片是32 x 256大小的,如果图片太大,则可能导致训练不收敛

生成出来的示例图片如下:

0065dbf65b2d219386fa3c5d6005f7b0.png

gen_image()方法返回 image_data:图片像素数据 (32,256) label: 图片标签 18位数字字符 477081933151463759 vec : 图片标签转成向量表示 (180,) 代表每个数字所处的列,总长度 18 * 10

#!/usr/bin/env python2
# -*- coding: utf-8 -*-
"""
身份证文字+数字生成类
@author: pengyuanjie
"""
import numpy as np
import freetype
import copy
import random
import cv2
class put_chinese_text(object):def __init__(self, ttf):self._face = freetype.Face(ttf)def draw_text(self, image, pos, text, text_size, text_color):'''draw chinese(or not) text with ttf:param image: image(numpy.ndarray) to draw text:param pos: where to draw text:param text: the context, for chinese should be unicode type:param text_size: text size:param text_color:text color:return: image'''self._face.set_char_size(text_size * 64)metrics = self._face.sizeascender = metrics.ascender/64.0#descender = metrics.descender/64.0#height = metrics.height/64.0#linegap = height - ascender + descenderypos = int(ascender)if not isinstance(text, unicode):text = text.decode('utf-8')img = self.draw_string(image, pos[0], pos[1]+ypos, text, text_color)return imgdef draw_string(self, img, x_pos, y_pos, text, color):'''draw string:param x_pos: text x-postion on img:param y_pos: text y-postion on img:param text: text (unicode):param color: text color:return: image'''prev_char = 0pen = freetype.Vector()pen.x = x_pos << 6 # div 64pen.y = y_pos << 6hscale = 1.0matrix = freetype.Matrix(int(hscale)*0x10000L, int(0.2*0x10000L),int(0.0*0x10000L), int(1.1*0x10000L))cur_pen = freetype.Vector()pen_translate = freetype.Vector()image = copy.deepcopy(img)for cur_char in text:self._face.set_transform(matrix, pen_translate)self._face.load_char(cur_char)kerning = self._face.get_kerning(prev_char, cur_char)pen.x += kerning.xslot = self._face.glyphbitmap = slot.bitmapcur_pen.x = pen.xcur_pen.y = pen.y - slot.bitmap_top * 64self.draw_ft_bitmap(image, bitmap, cur_pen, color)pen.x += slot.advance.xprev_char = cur_charreturn imagedef draw_ft_bitmap(self, img, bitmap, pen, color):'''draw each char:param bitmap: bitmap:param pen: pen:param color: pen color e.g.(0,0,255) - red:return: image'''x_pos = pen.x >> 6y_pos = pen.y >> 6cols = bitmap.widthrows = bitmap.rowsglyph_pixels = bitmap.bufferfor row in range(rows):for col in range(cols):if glyph_pixels[row*cols + col] != 0:img[y_pos + row][x_pos + col][0] = color[0]img[y_pos + row][x_pos + col][1] = color[1]img[y_pos + row][x_pos + col][2] = color[2]
class gen_id_card(object):def __init__(self):#self.words = open('AllWords.txt', 'r').read().split(' ')self.number = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']self.char_set = self.number#self.char_set = self.words + self.numberself.len = len(self.char_set)self.max_size = 18self.ft = put_chinese_text('fonts/OCR-B.ttf')#随机生成字串,长度固定#返回text,及对应的向量def random_text(self):text = ''vecs = np.zeros((self.max_size * self.len))#size = random.randint(1, self.max_size)size = self.max_sizefor i in range(size):c = random.choice(self.char_set)vec = self.char2vec(c)text = text + cvecs[i*self.len:(i+1)*self.len] = np.copy(vec)return text,vecs#根据生成的text,生成image,返回标签和图片元素数据def gen_image(self):text,vec = self.random_text()img = np.zeros([32,256,3])color_ = (255,255,255) # Writepos = (0, 0)text_size = 21image = self.ft.draw_text(img, pos, text, text_size, color_)#仅返回单通道值,颜色对于汉字识别没有什么意义return image[:,:,2],text,vec#单字转向量def char2vec(self, c):vec = np.zeros((self.len))for j in range(self.len):if self.char_set[j] == c:vec[j] = 1return vec#向量转文本def vec2text(self, vecs):text = ''v_len = len(vecs)for i in range(v_len):if(vecs[i] == 1):text = text + self.char_set[i % self.len]return text
if __name__ == '__main__':genObj = gen_id_card()image_data,label,vec = genObj.gen_image()cv2.imshow('image', image_data)cv2.waitKey(0)

构建网络,开始训练

首先定义生成一个batch的方法:

# 生成一个训练batch
def get_next_batch(batch_size=128):obj = gen_id_card()batch_x = np.zeros([batch_size, IMAGE_HEIGHT*IMAGE_WIDTH])batch_y = np.zeros([batch_size, MAX_CAPTCHA*CHAR_SET_LEN])for i in range(batch_size):image, text, vec = obj.gen_image()batch_x[i,:] = image.reshape((IMAGE_HEIGHT*IMAGE_WIDTH))batch_y[i,:] = vecreturn batch_x, batch_y

用了Batch Normalization,个人还不是很理解,读者可自行百度,代码来源于参考博文

#Batch Normalization? 有空再理解,tflearn or slim都有封装
## http://stackoverflow.com/a/34634291/2267819
def batch_norm(x, beta, gamma, phase_train, scope='bn', decay=0.9, eps=1e-5):with tf.variable_scope(scope):#beta = tf.get_variable(name='beta', shape=[n_out], initializer=tf.constant_initializer(0.0), trainable=True)#gamma = tf.get_variable(name='gamma', shape=[n_out], initializer=tf.random_normal_initializer(1.0, stddev), trainable=True)batch_mean, batch_var = tf.nn.moments(x, [0, 1, 2], name='moments')ema = tf.train.ExponentialMovingAverage(decay=decay)def mean_var_with_update():ema_apply_op = ema.apply([batch_mean, batch_var])with tf.control_dependencies([ema_apply_op]):return tf.identity(batch_mean), tf.identity(batch_var)mean, var = tf.cond(phase_train, mean_var_with_update, lambda: (ema.average(batch_mean), ema.average(batch_var)))normed = tf.nn.batch_normalization(x, mean, var, beta, gamma, eps)return normed

定义4层CNN和一层全连接层,卷积核分别是2层5x5、2层3x3,每层均使用tf.nn.relu非线性化,并使用max_pool,网络结构读者可自行调参优化

# 定义CNN
def crack_captcha_cnn(w_alpha=0.01, b_alpha=0.1):x = tf.reshape(X, shape=[-1, IMAGE_HEIGHT, IMAGE_WIDTH, 1])# 4 conv layerw_c1 = tf.Variable(w_alpha*tf.random_normal([5, 5, 1, 32]))b_c1 = tf.Variable(b_alpha*tf.random_normal([32]))conv1 = tf.nn.bias_add(tf.nn.conv2d(x, w_c1, strides=[1, 1, 1, 1], padding='SAME'), b_c1)conv1 = batch_norm(conv1, tf.constant(0.0, shape=[32]), tf.random_normal(shape=[32], mean=1.0, stddev=0.02), train_phase, scope='bn_1')conv1 = tf.nn.relu(conv1)conv1 = tf.nn.max_pool(conv1, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')conv1 = tf.nn.dropout(conv1, keep_prob)w_c2 = tf.Variable(w_alpha*tf.random_normal([5, 5, 32, 64]))b_c2 = tf.Variable(b_alpha*tf.random_normal([64]))conv2 = tf.nn.bias_add(tf.nn.conv2d(conv1, w_c2, strides=[1, 1, 1, 1], padding='SAME'), b_c2)conv2 = batch_norm(conv2, tf.constant(0.0, shape=[64]), tf.random_normal(shape=[64], mean=1.0, stddev=0.02), train_phase, scope='bn_2')conv2 = tf.nn.relu(conv2)conv2 = tf.nn.max_pool(conv2, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')conv2 = tf.nn.dropout(conv2, keep_prob)w_c3 = tf.Variable(w_alpha*tf.random_normal([3, 3, 64, 64]))b_c3 = tf.Variable(b_alpha*tf.random_normal([64]))conv3 = tf.nn.bias_add(tf.nn.conv2d(conv2, w_c3, strides=[1, 1, 1, 1], padding='SAME'), b_c3)conv3 = batch_norm(conv3, tf.constant(0.0, shape=[64]), tf.random_normal(shape=[64], mean=1.0, stddev=0.02), train_phase, scope='bn_3')conv3 = tf.nn.relu(conv3)conv3 = tf.nn.max_pool(conv3, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')conv3 = tf.nn.dropout(conv3, keep_prob)w_c4 = tf.Variable(w_alpha*tf.random_normal([3, 3, 64, 64]))b_c4 = tf.Variable(b_alpha*tf.random_normal([64]))conv4 = tf.nn.bias_add(tf.nn.conv2d(conv3, w_c4, strides=[1, 1, 1, 1], padding='SAME'), b_c4)conv4 = batch_norm(conv4, tf.constant(0.0, shape=[64]), tf.random_normal(shape=[64], mean=1.0, stddev=0.02), train_phase, scope='bn_4')conv4 = tf.nn.relu(conv4)conv4 = tf.nn.max_pool(conv4, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')conv4 = tf.nn.dropout(conv4, keep_prob)# Fully connected layerw_d = tf.Variable(w_alpha*tf.random_normal([2*16*64, 1024]))b_d = tf.Variable(b_alpha*tf.random_normal([1024]))dense = tf.reshape(conv4, [-1, w_d.get_shape().as_list()[0]])dense = tf.nn.relu(tf.add(tf.matmul(dense, w_d), b_d))dense = tf.nn.dropout(dense, keep_prob)w_out = tf.Variable(w_alpha*tf.random_normal([1024, MAX_CAPTCHA*CHAR_SET_LEN]))b_out = tf.Variable(b_alpha*tf.random_normal([MAX_CAPTCHA*CHAR_SET_LEN]))out = tf.add(tf.matmul(dense, w_out), b_out)return out

最后执行训练,使用sigmoid分类,每100次计算一次准确率,如果准确率超过80%,则保存模型并结束训练

# 训练
def train_crack_captcha_cnn():output = crack_captcha_cnn()# loss#loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=output, labels=Y))loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=output, labels=Y))# 最后一层用来分类的softmax和sigmoid有什么不同?# optimizer 为了加快训练 learning_rate应该开始大,然后慢慢衰optimizer = tf.train.AdamOptimizer(learning_rate=0.002).minimize(loss)predict = tf.reshape(output, [-1, MAX_CAPTCHA, CHAR_SET_LEN])max_idx_p = tf.argmax(predict, 2)max_idx_l = tf.argmax(tf.reshape(Y, [-1, MAX_CAPTCHA, CHAR_SET_LEN]), 2)correct_pred = tf.equal(max_idx_p, max_idx_l)accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))saver = tf.train.Saver()with tf.Session() as sess:sess.run(tf.global_variables_initializer())step = 0while True:batch_x, batch_y = get_next_batch(64)_, loss_ = sess.run([optimizer, loss], feed_dict={X: batch_x, Y: batch_y, keep_prob: 0.75, train_phase:True})print(step, loss_)# 每100 step计算一次准确率if step % 100 == 0 and step != 0:batch_x_test, batch_y_test = get_next_batch(100)acc = sess.run(accuracy, feed_dict={X: batch_x_test, Y: batch_y_test, keep_prob: 1., train_phase:False})print "第%s步,训练准确率为:%s" % (step, acc)# 如果准确率大80%,保存模型,完成训练if acc > 0.8:saver.save(sess, "crack_capcha.model", global_step=step)breakstep += 1

执行结果,笔者在大概500次训练后,得到准确率84.3%的结果

85cfcbcdd6c976fd804c30666990c68d.png

笔者在一开始训练的时候图片大小是64 x 512的,训练的时候发现训练速度很慢,而且训练的loss不收敛一直保持在33左右,缩小图片为32 x 256后解决,不知道为啥,猜测要么是网络层级不够,或者特征层数不够吧。

小目标完成后,为了最终目标的完成,后续可能尝试方法2,去识别不定长的中文字符图片,不过要先去理解LSTM网络和 CTC模型了。

下载地址:https://github.com/jimmyleaf/ocr_tensorflow_cnn/archive/master.zip

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/528907.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php友价商城手游,2019年T5友价商城网站程序-伪静态规则

# Version 3.1.0.73RewriteEngine on#RewriteBase /RewriteRule vip(.*) /shop/view.php?str$1RewriteRule ^(.*)/search(.*).html /$1/index.php?str$2RewriteRule ^(.*)/goods([0-9]*).html /$1/goods.php?id$2RewriteRule ^(.*)/(.*)list(.*).html /$1/$2list.php?str$3…

php程序员学什么语言好就业_2019年初中毕业生学什么专业好?学什么专业好就业?...

前言&#xff1a;据了解&#xff0c;目前我国职业人才缺口较大&#xff0c;市场供需不平衡。许多学生往往还没毕业&#xff0c;就已经与企业签订了就业协议。因此&#xff0c;有许多家长愿意把小孩子送到专业学校进行就读。毕竟可以学的一门好专业&#xff0c;对学生将来的路是…

中print中加f_Python3中的格式化输出

Python3字符串格式化输出有两种形式实现&#xff1a;a&#xff1a;字符串格式化表达式&#xff1a; ...%... % (values)b&#xff1a;字符串格式化方法调用&#xff1a;...{}....format(values) 或者 f...{xx}...1:字符串格式化的类型码(typecode)(表1)2: 字符串格式化表达式格…

Json-ServerMockJs简单快速生成测试数据

Json-Server&MockJs简单快速生成测试数据 1、Json-Server 和 MockJs的安装 npm install -g json-server //全局安装2、创建目录和初始话 例如&#xff1a;创建D:\ProjectOne文件夹 3、打开终端或者powershell进入ProjectOne文件夹 4、初始化项目 npm init5、安装Mock…

oracle nvl和coalesce,NVL与Coalesce之间的Oracle差异

慕码人8056858COALESCE是更现代的功能&#xff0c;是ANSI-92标准的一部分。NVL在Oracle具体的&#xff0c;它在推出80的前存在任何标准。在两个值的情况下&#xff0c;它们是同义词。但是&#xff0c;它们的实现方式不同。NVL总是计算两个参数&#xff0c;同时COALESCE通常在找…

安卓签名生成工具_ios app如何进行内测?ios app和安卓app的内测有何区别?

目前手机主流的操作系统分为Android和iOS两大阵营&#xff0c;分别是由谷歌和苹果进行开发维护。这两大平台的应用都相互独立&#xff0c;无论是运行机制还是底层原理&#xff0c;都不一样&#xff0c;所以即使是同一款App也是需要针对在两大平台上分别进行内测和运营、发布。那…

深拷贝的缺点_拷贝?还傻傻分不清深浅?

「引言」❝臣闻求木之长者&#xff0c;必固其根本&#xff1b;欲流之远者&#xff0c;必浚其泉源。---- 魏征 《谏太宗十思疏》❞或许你会问到&#xff0c;网上已经把深浅拷贝(算一个面试的高频考点了吧)的文章都快写烂了&#xff0c;为什么自己还要重新操刀写一遍呢&#xff0…

实现文件中名词的统计计数_通过勤哲EXCEL和Excel中的rank函数实现排名统计

如今&#xff0c;信息化已成为各行业企业转型和发展的关键所在&#xff0c;信息化技术最明显的特点是企业不同部门的人在信息技术的支撑下&#xff0c;可以利用丰富的资源与工具展开协作学习&#xff0c;在相对自由的模式和环境下&#xff0c;改变传统设计相对局限、固定思维的…

安徽关节式焊接机器人_上下料机器人的重要性体现在哪里?它有哪些优势?

上下料机器人是工业机器人家族中从事加工应用的重要成员之一&#xff0c;能满足“快速、大批量加工节拍”、“节省人力成本”、“提高生产效率”等要求&#xff0c;成为越来越多中心企业的理想选择。那么&#xff0c;上下料机器人有哪些特征和优势&#xff1f;企业主应该如何选…

vision软件_Roboguide软件:高速拾取仿真工作站相机与工具添加与配置

上一期为大家介绍了机器人高速拾取仿真工作站中工件、视觉校准板、输送带等外围设备的添加与配置&#xff0c;本期再来为大家介绍一下相机、机器人工具的添加与配置。一、相机添加与配置1.左侧浏览树中右击“Sensor Units”&#xff0c;在弹出的快捷菜单中依次点击“Add Sensor…

arduino tft 方向_ESP32在Arduino环境下玩转 LVGL,ESP32移植LVGL详细教程

微信关注 “DLGG创客DIY”设为“星标”&#xff0c;重磅干货&#xff0c;第一时间送达。❝转载自慕容流年 https://me.csdn.net/qq_41868901❞1. LVGL简介LittlevGL是一个免费的开源图形库&#xff0c;提供了创建嵌入式GUI所需的一切&#xff0c;具有易于使用的图形元素、漂亮的…

linux内核开文件系统,内核必须懂(二): Linux文件系统初探

目录前言文件系统结构新建文件和inode文件创建过程inode解析打开文件参考最后前言这次来说文件系统. 文件系统是非常重要的, 提高磁盘使用率, 减小磁盘磨损等等都是文件系统要解决的问题. 市面上的文件系统也是数不胜数, 比较常用的像ext4, xfs以及ntfs等等, 国内的像鹅厂的tfs…

gps卫星位置计算程序matlab_科研项目 | BD/ GPS卫星导航仿真测试系统研究

一、项目背景在移动互联和互联网的时代&#xff0c;卫星导航定位已经成为生活中不可或缺的部分。目前&#xff0c;我国的交通、银行、电力、采矿、测绘等部门以及大众化市场都需要大量的定位、授时服务。许多企业也形成了覆盖卫星导航相关材料及元器件、卫星导航芯片、卫星导航…

Linux输入密码接口,Linux下搭建接口自动化测试平台

前言我们今天来学习一下在Linux下如何搭建基于HttpRunner开发的接口自动化测试平台吧&#xff01;需要在Linux上提前准备的环境(下面是本人搭建时的环境)&#xff1a;1&#xff0c;Python 3.6.8 (可参考随笔&#xff1a;Linux学习6-安装Python3.6)2&#xff0c;MySQL 5.7(可参考…

linux下查看windows文件夹大小,如何从Windows命令行检查文件夹的大小?

我意识到这个问题要求使用进行文件大小分析CMD line。但是&#xff0c;如果您愿意使用它&#xff0c;PowerQuery (Excel add-in, versions 2010)则可以创建一些非常引人注目的文件大小分析。下面的脚本可以粘贴到空白查询中&#xff1b;您唯一需要做的就是添加一个名为“ param…

图像语义分割_图像语义分割(9)-DeepLabV3: 再次思考用于图像语义分割的空洞卷积...

论文地址 &#xff1a;Rethinking Atrous Convolution for Semantic Image Segmentation论文代码&#xff1a;Github链接1. 摘要文章主要的工作&#xff1a;使用空洞卷积来调整滤波器的感受野并控制特征图分辨率使用不同空洞率的空洞卷积的串联或者并行操作来分割不同尺度的目标…

sql replace 双引号变单引号_sql-汇总、排序以及分析思路

一、汇总函数注&#xff1a;汇总函数&#xff0c;如果输入是列名&#xff0c;计算会把null 排除在外&#xff0c;count(*)对所有的行进行计数二、如何用sql解决业务问题注1&#xff1a;空值(null)的排序,排序是最小的&#xff0c;例如select * from tea order by tea_name注2&a…

openwrt是嵌入式linux,非常方便的OpenWrt的嵌入式Linux开发环境

今天听中央经济广播电台说,今年有559万大学毕业生,大学生的就业形式严峻.我想那些精通Linux开发的毕业大学生们,估计一点也不用担心,因为他们已经不再是一颗大白菜了.最近在帮一个朋友把OpenWrt移植到一块单板上,有一些心得,分享给大家.OpenWrt是一个很好的学习Linux的平台,而且…

php多个表中查找数据_HeidiSQL 免费的可视化数据库管理工具

HeidiSQL是一款免费的软件&#xff0c;并且易于学习和使用。HeidiSQL让你从数据库内可视化的读写数据、结构体。它支持MariaDB、MySQL、Microsoft SQL、PostgreSQL等数据库。功能免费且开源内置中文在同个窗口连接多个服务支持以命令行形式连接服务连接支持SSH、SSL创建修改表、…

嵌入式linux启动根文件系统,嵌入式Linux根文件系统制作和挂载

嵌入式Linux系统由三部分组成&#xff1a; uboot、kernel、根文件系统&#xff0c; 还是这张老图这里的根文件系统可以说是包含两个部分&#xff1a; 一个是根&#xff0c;一个是文件系统那么什么是根呢&#xff1f;哈哈 其实根表示的就是第一个的意思下面贴张图看看整个根文件…