计算机竞赛 深度学习OCR中文识别 - opencv python

文章目录

  • 0 前言
  • 1 课题背景
  • 2 实现效果
  • 3 文本区域检测网络-CTPN
  • 4 文本识别网络-CRNN
  • 5 最后

0 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 **基于深度学习OCR中文识别系统 **

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：3分
  • 工作量：3分
  • 创新点：4分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

1 课题背景

在日常生产生活中有大量的文档资料以图片、PDF的方式留存，随着时间推移 往往难以检索和归类 ，文字识别（Optical Character
Recognition，OCR ）是将图片、文档影像上的文字内容快速识别成为可编辑的文本的技术。

高性能文档OCR识别系统是基于深度学习技术，综合运用Tensorflow、CNN、Caffe
等多种深度学习训练框架，基于千万级大规模文字样本集训练完成的OCR引擎，与传统的模式识别的技术相比，深度学习技术支持更低质量的分辨率、抗干扰能力更强、适用的场景更复杂，文字的识别率更高。

本项目基于Tensorflow、keras/pytorch实现对自然场景的文字检测及OCR中文文字识别。

2 实现效果

公式检测
在这里插入图片描述
纯文字识别

在这里插入图片描述

3 文本区域检测网络-CTPN

对于复杂场景的文字识别，首先要定位文字的位置，即文字检测。

简介
CTPN是在ECCV
2016提出的一种文字检测算法。CTPN结合CNN与LSTM深度网络，能有效的检测出复杂场景的横向分布的文字，效果如图1，是目前比较好的文字检测算法。由于CTPN是从Faster
RCNN改进而来，本文默认读者熟悉CNN原理和Faster RCNN网络结构。
在这里插入图片描述
相关代码

​

def main(argv):pycaffe_dir = os.path.dirname(__file__)parser = argparse.ArgumentParser()# Required arguments: input and output.parser.add_argument("input_file",help="Input txt/csv filename. If .txt, must be list of filenames.\If .csv, must be comma-separated file with header\'filename, xmin, ymin, xmax, ymax'")parser.add_argument("output_file",help="Output h5/csv filename. Format depends on extension.")# Optional arguments.parser.add_argument("--model_def",default=os.path.join(pycaffe_dir,"../models/bvlc_reference_caffenet/deploy.prototxt.prototxt"),help="Model definition file.")parser.add_argument("--pretrained_model",default=os.path.join(pycaffe_dir,"../models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel"),help="Trained model weights file.")parser.add_argument("--crop_mode",default="selective_search",choices=CROP_MODES,help="How to generate windows for detection.")parser.add_argument("--gpu",action='store_true',help="Switch for gpu computation.")parser.add_argument("--mean_file",default=os.path.join(pycaffe_dir,'caffe/imagenet/ilsvrc_2012_mean.npy'),help="Data set image mean of H x W x K dimensions (numpy array). " +"Set to '' for no mean subtraction.")parser.add_argument("--input_scale",type=float,help="Multiply input features by this scale to finish preprocessing.")parser.add_argument("--raw_scale",type=float,default=255.0,help="Multiply raw input by this scale before preprocessing.")parser.add_argument("--channel_swap",default='2,1,0',help="Order to permute input channels. The default converts " +"RGB -> BGR since BGR is the Caffe default by way of OpenCV.")parser.add_argument("--context_pad",type=int,default='16',help="Amount of surrounding context to collect in input window.")args = parser.parse_args()mean, channel_swap = None, Noneif args.mean_file:mean = np.load(args.mean_file)if mean.shape[1:] != (1, 1):mean = mean.mean(1).mean(1)if args.channel_swap:channel_swap = [int(s) for s in args.channel_swap.split(',')]if args.gpu:caffe.set_mode_gpu()print("GPU mode")else:caffe.set_mode_cpu()print("CPU mode")# Make detector.detector = caffe.Detector(args.model_def, args.pretrained_model, mean=mean,input_scale=args.input_scale, raw_scale=args.raw_scale,channel_swap=channel_swap,context_pad=args.context_pad)# Load input.t = time.time()print("Loading input...")if args.input_file.lower().endswith('txt'):with open(args.input_file) as f:inputs = [_.strip() for _ in f.readlines()]elif args.input_file.lower().endswith('csv'):inputs = pd.read_csv(args.input_file, sep=',', dtype={'filename': str})inputs.set_index('filename', inplace=True)else:raise Exception("Unknown input file type: not in txt or csv.")# Detect.if args.crop_mode == 'list':# Unpack sequence of (image filename, windows).images_windows = [(ix, inputs.iloc[np.where(inputs.index == ix)][COORD_COLS].values)for ix in inputs.index.unique()]detections = detector.detect_windows(images_windows)else:detections = detector.detect_selective_search(inputs)print("Processed {} windows in {:.3f} s.".format(len(detections),time.time() - t))# Collect into dataframe with labeled fields.df = pd.DataFrame(detections)df.set_index('filename', inplace=True)df[COORD_COLS] = pd.DataFrame(data=np.vstack(df['window']), index=df.index, columns=COORD_COLS)del(df['window'])# Save results.t = time.time()if args.output_file.lower().endswith('csv'):# csv# Enumerate the class probabilities.class_cols = ['class{}'.format(x) for x in range(NUM_OUTPUT)]df[class_cols] = pd.DataFrame(data=np.vstack(df['feat']), index=df.index, columns=class_cols)df.to_csv(args.output_file, cols=COORD_COLS + class_cols)else:# h5df.to_hdf(args.output_file, 'df', mode='w')print("Saved to {} in {:.3f} s.".format(args.output_file,time.time() - t))

CTPN网络结构
在这里插入图片描述

4 文本识别网络-CRNN

CRNN 介绍
CRNN 全称为 Convolutional Recurrent Neural Network，主要用于端到端地对不定长的文本序列进行识别，不用

图来自文章：一文读懂CRNN+CTC文字识别

整个CRNN网络结构包含三部分，从下到上依次为：

  1. CNN（卷积层），使用深度CNN，对输入图像提取特征，得到特征图；
  2. RNN（循环层），使用双向RNN（BLSTM）对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签（真实值）分布；
  3. CTC loss（转录层），使用 CTC 损失，把从循环层获取的一系列标签分布转换成最终的标签序列。

CNN
卷积层的结构图：
在这里插入图片描述

这里有一个很精彩的改动，一共有四个最大池化层，但是最后两个池化层的窗口尺寸由 2x2 改为 1x2，也就是图片的高度减半了四次（除以 2^4
），而宽度则只减半了两次（除以2^2），这是因为文本图像多数都是高较小而宽较长，所以其feature
map也是这种高小宽长的矩形形状，如果使用1×2的池化窗口可以尽量保证不丢失在宽度方向的信息，更适合英文字母识别（比如区分i和l）。

CRNN 还引入了BatchNormalization模块，加速模型收敛，缩短训练过程。

输入图像为灰度图像（单通道）；高度为32，这是固定的，图片通过 CNN
后，高度就变为1，这点很重要；宽度为160，宽度也可以为其他的值，但需要统一，所以输入CNN的数据尺寸为 (channel, height,
width)=(1, 32, 160)。

CNN的输出尺寸为 (512, 1, 40)。即 CNN 最后得到512个特征图，每个特征图的高度为1，宽度为40。

Map-to-Sequence
我们是不能直接把 CNN 得到的特征图送入 RNN 进行训练的，需要进行一些调整，根据特征图提取 RNN 需要的特征向量序列。

在这里插入图片描述

现在需要从 CNN 模型产生的特征图中提取特征向量序列，每一个特征向量（如上图中的一个红色框）在特征图上按列从左到右生成，每一列包含512维特征，这意味着第
i 个特征向量是所有的特征图第 i 列像素的连接，这些特征向量就构成一个序列。

由于卷积层，最大池化层和激活函数在局部区域上执行，因此它们是平移不变的。因此，特征图的每列（即一个特征向量）对应于原始图像的一个矩形区域（称为感受野），并且这些矩形区域与特征图上从左到右的相应列具有相同的顺序。特征序列中的每个向量关联一个感受野。

如下图所示：
在这里插入图片描述

这些特征向量序列就作为循环层的输入，每个特征向量作为 RNN 在一个时间步（time step）的输入。

RNN
因为 RNN 有梯度消失的问题，不能获取更多上下文信息，所以 CRNN 中使用的是 LSTM，LSTM
的特殊设计允许它捕获长距离依赖，不了解的话可以看一下这篇文章 对RNN和LSTM的理解。

LSTM
是单向的，它只使用过去的信息。然而，在基于图像的序列中，两个方向的上下文是相互有用且互补的。将两个LSTM，一个向前和一个向后组合到一个双向LSTM中。此外，可以堆叠多层双向LSTM，深层结构允许比浅层抽象更高层次的抽象。

这里采用的是两层各256单元的双向 LSTM 网络：
在这里插入图片描述

通过上面一步，我们得到了40个特征向量，每个特征向量长度为512，在 LSTM 中一个时间步就传入一个特征向量进行分

我们知道一个特征向量就相当于原图中的一个小矩形区域，RNN
的目标就是预测这个矩形区域为哪个字符，即根据输入的特征向量，进行预测，得到所有字符的softmax概率分布，这是一个长度为字符类别数的向量，作为CTC层的输入。

因为每个时间步都会有一个输入特征向量 x^T ，输出一个所有字符的概率分布 y^T ，所以输出为 40 个长度为字符类别数的向量构成的后验概率矩阵。

如下图所示：
在这里插入图片描述

然后将这个后验概率矩阵传入转录层。
CTC loss
这算是 CRNN 最难的地方，这一层为转录层，转录是将 RNN
对每个特征向量所做的预测转换成标签序列的过程。数学上，转录是根据每帧预测找到具有最高概率组合的标签序列。

端到端OCR识别的难点在于怎么处理不定长序列对齐的问题！OCR可建模为时序依赖的文本图像问题，然后使用CTC（Connectionist Temporal
Classification, CTC）的损失函数来对 CNN 和 RNN 进行端到端的联合训练。

相关代码

​

    def inference(self, inputdata, name, reuse=False):"""Main routine to construct the network:param inputdata::param name::param reuse::return:"""with tf.variable_scope(name_or_scope=name, reuse=reuse):# centerlized datainputdata = tf.divide(inputdata, 255.0)#1.特征提取阶段# first apply the cnn feature extraction stagecnn_out = self._feature_sequence_extraction(inputdata=inputdata, name='feature_extraction_module')#2.第二步，  batch*1*25*512  变成 batch * 25 * 512# second apply the map to sequence stagesequence = self._map_to_sequence(inputdata=cnn_out, name='map_to_sequence_module')#第三步，应用序列标签阶段# third apply the sequence label stage# net_out width, batch, n_classes# raw_pred   width, batch, 1net_out, raw_pred = self._sequence_label(inputdata=sequence, name='sequence_rnn_module')return net_out

​

5 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/90192.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

老卫带你学---leetcode刷题(124. 二叉树中的最大路径和)

老卫带你学---leetcode刷题(124. 二叉树中的最大路径和)

124. 二叉树中的最大路径和 问题： 二叉树中的 路径 被定义为一条节点序列，序列中每对相邻节点之间都存在一条边。同一个节点在一条路径序列中 至多出现一次 。该路径 至少包含一个 节点，且不一定经过根节点。 路径和 是路径中各节点值的总…
阅读更多...
【数据结构】单链表的基本操作（节点建立、插入删除）

【数据结构】单链表的基本操作（节点建立、插入删除）

1. 单链表的基本操作 1.1. 链表的定义1.2. 链表的创建（初始化） 1.2.1. 不带头结点的链表1.2.2. 带头结点的链表 1.3. 链表的插入和删除 1.3.1. 按位序插入 1.3.1.1. 带头结点1.3.1.2. 不带头结点 1.3.2. 指定节点的后插操作1.3.3. 指定元素的前插操作1.3…
阅读更多...
外汇天眼：外汇交易一周最佳外汇交易日！

外汇天眼：外汇交易一周最佳外汇交易日！

外汇市场运行24小时，但并非每时每刻都适合交易。本文将为您介绍一周中最佳外汇交易日，以及哪些时间段最适合参与外汇交易。 首先，值得注意的是伦敦时段通常是外汇市场最繁忙的时段。然而，即便如此，一周中仍有特定的日…
阅读更多...
debian无法使用reboot 等系统命令解决

debian无法使用reboot 等系统命令解决

重启debian的时候，报错没有此命令 然后查看环境配置文件，发现没有debian 安装后没有自动添加环境变量。 1.首先编辑配置文件 nano /etc/profile2.在文件末尾添加如下内容 export PATH$PATH:/sbin/3.保存退出 CTRL O // 保存 ENTER // 回车确认文…
阅读更多...
脚手架开发流程详解

脚手架开发流程详解

开发流程 创建npm项目创建脚手架入口文件，最上方添加 #!/usr/bin/env/ node配置package.json，添加bin属性编写脚手架代码将脚手架发布到npm 使用流程 安装脚手架 npm install -g your-own-cli使用脚手架 your-own-cli脚手架开发难点解析 分包&…
阅读更多...
c语言 - 实现每隔1秒向文件中写入当前系统时间

c语言 - 实现每隔1秒向文件中写入当前系统时间

实现思路 主要是通过库函数和结构体获取当前系统时间（年月日和时分秒）保存到变量里，然后通过格式化输出函数将当前系统时间输出到文件中去。 但是需要注意的是题目要求每隔 1 s对系统时间进行输出，所以需要加入 sleep()函数进行调…
阅读更多...
AOP执行的流程

AOP执行的流程

Spring AOP是通过动态代理实现的，它在运行时通过生成代理对象来拦截和增强目标方法的执行。 具体运行流程如下： 1. 定义切面：使用Spring的AOP注解（如Aspect）定义切面类，标识切面的切点和通知。 2. 创建目…
阅读更多...
computed和methods有什么区别

computed和methods有什么区别

面试题：computed和methods有什么区别 标准而浅显的回答 在使用时，computed当做属性使用，而methods则当做方法调用computed可以具有getter和setter，因此可以赋值，而methods不行computed无法接收多个参数，而m…
阅读更多...
二、浏览器--事件循环（也叫事件环，也叫event loop）--任务队列（等待执行的任务（存放的定时器，http，事件等进程））--渲染三者的关系

二、浏览器--事件循环（也叫事件环，也叫event loop）--任务队列（等待执行的任务（存放的定时器，http，事件等进程））--渲染三者的关系

引用B站视频，搜索标题：【事件循环】【前端】事件原理讲解，超级硬核，忍不住转载 本视频总结： 超级复杂的JS底层。事件循环和事件队列的关系。宏任务、微任务和raf回调这3个事件队列的关系。任务队列和执行栈的关系。d…
阅读更多...
rust类型转换

rust类型转换

类型转换 类型转换分为隐式类型转换和显式类型转换。 隐式类型转换是由编译器完成的，开发者并未参与，所有又称自动强制转换。 显式类型转换是由开发者指定的，就是一般意义上的类型转换。 一、显式转换 （一）as 1.原生…
阅读更多...
数据结构与算法之链表: 基于链表实现js中的原型链原理与算法实现 (Typescript版)

数据结构与算法之链表: 基于链表实现js中的原型链原理与算法实现 (Typescript版)

常见数据类型的原型链指向 obj -> Object.prototype -> nullfunc -> Function.prototype -> Object.prototype -> nullarr -> Array.prototype -> Object.prototype -> nullobj是Object实例func是Function实例，也是Object实例arr是Array实…
阅读更多...
配置OSPFv3基本功能 华为笔记

配置OSPFv3基本功能 华为笔记

1.1 实验介绍 1.1.1 关于本实验 OSPF协议是为IP协议提供路由功能的路由协议。OSPFv2（OSPF版本2）是支持IPv4的路由协议，为了让OSPF协议支持IPv6，技术人员开发了OSPFv3（OSPF版本3）。 无论是OSPFv2还是OSPFv…
阅读更多...
设计模式2、抽象工厂模式 Abstract Factory

设计模式2、抽象工厂模式 Abstract Factory

解释说明：提供一个创建一系列相关或相互依赖对象的接口，而无需指定他们具体的类。 简言之，一个工厂可以提供创建多种相关产品的接口，而无需像工厂方法一样，为每一个产品都提供一个具体工厂 抽象工厂（Abstra…
阅读更多...
学校安全用电管理系统解决方案

学校安全用电管理系统解决方案

随着科技的发展和进步，电力已成为我们日常生活和学习的重要支柱。然而，电力的使用也带来了一定的安全风险。特别是对于学校这个复杂而又活跃的环境，安全用电管理系统的角色显得尤为重要。 一、学校用电管理系统的现状 目前&#xff0…
阅读更多...
win10默认浏览器改不了怎么办，解决方法详解

win10默认浏览器改不了怎么办，解决方法详解

win10默认浏览器改不了怎么办，解决方法详解_蓝天网络 在使用Windows 10操作系统时，你可能会遇到无法更改默认浏览器的情况。这可能是因为其他程序或设置正在干扰更改。如果你也遇到了这个问题，不要担心，本文将为你提供详细的解决…
阅读更多...
CSS基础

CSS基础

目录 一.CSS介绍 三种CSS的写法 1.内部样式 2.内联样式 3.外部表示 二.CSS选择器 1.标签选择器 2.类选择器 ​编辑 3.ID选择器 ​编辑 4.后代选择器 ​编辑 5.子选择器 6.并集选择器 7.伪类选择器 三.CSS常用属性值 1.字体设置 2.文本属性 1.文字颜色 2.文…
阅读更多...
kafka 集群搭建 常用命令

kafka 集群搭建 常用命令

1、集群搭建&#xff1a; <1> 将kafka 压缩包解压到某一目录 tar -zxvf kafka_2.12-3.5.1.tgz <2> 修改节点配置文件 vim config/server.properties broker.id0 log.dirs/tmp/kafka-logs <3> 将安装好的kafka 分发到其他服务器 scp -r kafka_2.12-2.4…
阅读更多...
华为云云耀云服务器L实例评测 ｜ 实例使用教学之简单使用：通过命令行管理华为云云耀云服务器

华为云云耀云服务器L实例评测 ｜ 实例使用教学之简单使用：通过命令行管理华为云云耀云服务器

华为云云耀云服务器L实例评测 &#xff5c; 实例使用教学之简单使用&#xff1a;通过命令行管理华为云云耀云服务器 介绍华为云云耀云服务器 华为云云耀云服务器 &#xff08;目前已经全新升级为 华为云云耀云服务器L实例&#xff09; 华为云云耀云服务器是什么华为云云耀云服务…
阅读更多...
深入理解传输层协议：TCP与UDP的比较与应用

深入理解传输层协议：TCP与UDP的比较与应用

目录 前言什么是TCP/UDPTCP/UDP应用TCP和UDP的对比总结 前言 传输层是TCP/IP协议栈中的第四层&#xff0c;它为应用程序提供服务&#xff0c;定义了主机应用程序之间端到端的连通性。在本文章&#xff0c;我们将深入探讨传输层协议&#xff0c;特别是TCP和UDP协议的原理和区别…
阅读更多...
ES写入数据报错：retrying failed action with response code: 429

ES写入数据报错：retrying failed action with response code: 429

报错&#xff1a; 使用logstash导入分片数量为9的index发生错误,[logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type">"es_rejected_execution_exception", "reason">"rejected execution …
阅读更多...
最新文章

Copyright @ 2022~2023