从零开发短视频电商 Tesseract OCR识别增强

文章目录

- 概要
- 图像预处理阶段
- - 默认
  - 反转图像
  - 重新缩放
  - 二值化
  - 噪音消除
  - 膨胀/腐蚀
  - 旋转/偏移校正
  - 边框
  - - 缺少边框
    - 边框太大
    - 扫描边框去除
  - 透明度/Alpha通道
- 引擎处理阶段
- - 语言模型
  - 配置
  - 提高识别速度
  - 词典、单词列表和模式
  - 表格识别
- 使用 Tesseract OCR 的 GUI 和其他项目

原文如下：

https://github.com/tesseract-ocr/tessdoc/blob/main/ImproveQuality.md

概要

在优化Tesseract OCR识别效果的过程中，我们可以分为三个关键阶段，分别是图像预处理阶段、引擎处理阶段和后处理阶段。通过在每个阶段采取适当的措施，我们可以显著提高识别的准确性和效率。

图像预处理阶段，在这一阶段，我们通过多种手段优化输入图像，以确保Tesseract能够更好地理解文本。以下是一些建议的预处理步骤：
- 重新缩放： 将图像缩放到适当的大小，以减少计算负担并提高识别速度。
- 二值化： 将图像转换为黑白二值图像，以突出文本轮廓。
- 去噪： 使用滤波器或其他去噪技术，消除图像中的不必要细节。
- 膨胀/腐蚀： 通过膨胀和腐蚀操作，强调和连接字符轮廓，提高字符识别准确性。
- 旋转/偏移矫正： 识别前对图像进行旋转和偏移矫正，确保文本水平且居中。
- 边框： 添加适当的边框以帮助Tesseract正确识别文本。
- 透明度/Alpha通道： 根据需要处理图像透明度或Alpha通道。
引擎处理阶段，在这个阶段，我们针对Tesseract OCR引擎进行优化，以提高其识别效果。
- 配置选项： 使用Tesseract提供的配置选项调整引擎参数，例如指定语言模型、字符宽度的阈值等。
- 页面分割方法： 选择适当的页面分割方法，确保Tesseract能够正确识别文本的边界。
- 引擎和tessdata： 确保使用最新版本的Tesseract引擎和适当的tessdata文件，以获取最佳性能和支持最新的语言模型。
- 模式： 针对不同类型的文本，选择适当的Tesseract识别模式，例如文本、数字等。
后处理阶段

图像预处理阶段

Tesseract在执行实际的OCR之前，内部使用Leptonica库进行各种图像处理操作。它通常做得很好，但不可避免地会有一些情况不够好，这可能导致准确性显著降低。

您可以通过在运行Tesseract时将配置变量tessedit_write_images设置为true（或使用configfile get.images）来查看Tesseract如何处理图像。

重点：如果生成的tessinput.tif文件看起来有问题，请在将图像传递给Tesseract之前尝试一些这些图像处理操作。

重新缩放
二值化
去噪
膨胀/腐蚀
旋转/偏移矫正
边框
透明度/Alpha通道

获取tessinput.tif文件，方式一: tesseract.ProcessPage

import org.bytedeco.javacpp.BytePointer;
import org.bytedeco.leptonica.PIX;
import org.bytedeco.tesseract.TessBaseAPI;
import org.bytedeco.tesseract.TessResultRenderer;import static org.bytedeco.leptonica.global.leptonica.pixDestroy;
import static org.bytedeco.leptonica.global.leptonica.pixRead;
import static org.bytedeco.tesseract.global.tesseract.PSM_AUTO;public class TesseractExample {public static void main(String[] args) {// 创建 Tesseract 实例TessBaseAPI tesseract = new TessBaseAPI();String dataPath = "C:\\tess4j\\tessdata";// 初始化 Tesseract 实例，你需要将 "path/to/tessdata" 替换为你的 tessdata 文件夹的路径if (tesseract.Init(dataPath, "eng", OEM_LSTM_ONLY) != 0) {System.err.println("无法初始化 Tesseract。");System.exit(1);}String fileName = "C:\\laker\\demo3\\69c7f2a6-3f0e-4ced-86c3-4ea42dcb7c34.PNG";// 读取图像文件并转换为 Leptonica PIX 对象PIX image = pixRead(fileName);// 设置输出文件名（这是一个示例，你需要根据实际情况进行调整）String outputFileName = "output_file";// 设置页面索引（如果有多页）int pageIndex = 0; // Note: Page index starts from 0// 设置重试配置（可以为null）String retryConfig = null;// 设置超时时间（毫秒）int timeoutMillisec = 5000;// 设置渲染器（可以为null）TessResultRenderer renderer = null;// 设置变量，这里是为了将识别结果写为图像文件，你可以根据需要进行调整tesseract.SetVariable("tessedit_write_images", "1");// 设置 OCR Engine Mode（这里设置为 Oem.TESSERACT_ONLY，你可以根据需要进行调整）tesseract.SetPageSegMode(PSM_AUTO);// 调用 ProcessPage 方法tesseract.SetImage(image);tesseract.ProcessPage(image, pageIndex, outputFileName, null, timeoutMillisec, renderer);// 打印识别结果BytePointer outText = tesseract.GetUTF8Text();System.out.println("识别结果：" + outText.getString());// 释放 Leptonica PIX 对象内存pixDestroy(image);// 结束 Tesseract 实例tesseract.End();}
}

方式二：也可以用api.GetThresholdedImage()直接获取，跟设置一样的效果。

// 获取二值化图像
PIX thresholdedImage = api.GetThresholdedImage();// 将二值化图像保存到文件
String thresholdedImageFilePath = "C:\\thresholded_image.tif";
pixWrite(thresholdedImageFilePath, thresholdedImage, IFF_TIFF_G4);

内部源码：

https://github.com/tesseract-ocr/tesseract/blob/637be531f649832032fc477fd7f82249bb7d776b/src/api/baseapi.cpp#L1292

if (tesseract_->tessedit_write_images) {Pix *page_pix = GetThresholdedImage();std::string output_filename = output_file_ + ".processed";if (page_index > 0) {output_filename += std::to_string(page_index);}output_filename += ".tif";pixWrite(output_filename.c_str(), page_pix, IFF_TIFF_G4);pixDestroy(&page_pix);
}

默认

原始图片：

内部生成的tessinput.tif文件：

在这里插入图片描述

当前识别结果为：

int timeoutMillisec = 5000;
TessResultRenderer renderer = null;tesseract.SetVariable( name: write_images", value: "1v); // 这一行错误tesseract.SetPageSegHode (PSH_AUTO) ;   // 这一行错误tesseract.SetImage (image);tesseract.ProcessPage (image, pageIndex, outputFileName, retry config: null, timeoutMillisec, renderer);
CSDN @lakernote

反转图像

在Tesseract版本3.05（以及更早版本）中，处理反转图像（暗色背景和亮色文本）时没有问题，但在4.x版本中，请使用亮色背景上的暗色文本。

重新缩放

Tesseract在至少300 dpi的图像上效果最佳，因此调整图像大小可能是有益的。

二值化

Tesseract在内部使用Otsu算法执行图像转为黑白的操作，但结果可能不理想，特别是当页面背景的暗度不均匀时。

Tesseract 5.0.0版本新增了两种基于Leptonica的二值化方法：自适应Otsu和Sauvola。您可以使用命令 tesseract --print-parameters | grep thresholding_ 查看相关的可配置参数。

如果您无法通过提供更好的输入图像来解决问题，可以尝试使用不同的算法。请参考ImageJ自动阈值（Java）、OpenCV图像阈值处理（Python）或scikit-image阈值处理文档（Python）。

噪音消除

噪声是图像中亮度或颜色的随机变化，它会使图像的文本更难以阅读。在二值化步骤中，Tesseract 无法消除某些类型的噪声，这可能会导致准确率下降

膨胀/腐蚀

粗体字符或细体字符（尤其是带有衬线的字符）可能会影响细节的识别，降低识别准确率。许多图像处理程序允许在公共背景下对字符边缘进行膨胀和腐蚀，以扩大或增大（膨胀）或缩小（腐蚀）。

历史文献中的大量墨水渗色可以通过使用侵蚀技术来补偿。侵蚀可用于将字符缩小回其正常的字形结构。

旋转/偏移校正

倾斜的图像是指扫描的页面不直。如果页面太倾斜，Tesseract 的线分割质量会显着降低，这会严重影响 OCR 的质量。要解决此问题，请旋转页面图像，使文本行处于水平位置。

边框

缺少边框

如果您仅对没有任何边框的文本区域进行 OCR，则 tesseract 可能会出现问题。请参阅tesseract 用户论坛#427中的一些详细信息。您可以使用ImageMagick®轻松添加小边框（例如 10 px）：

convert  427-1.jpg  -bordercolor White -border 10x10 427-1b.jpg

边框太大

大边框（尤其是在大背景上处理单个字母/数字或一个单词时）可能会导致问题（“空页”）。请尝试将您输入的图像裁剪到具有合理边框（例如10像素）的文本区域。

扫描边框去除

扫描的页面周围通常有黑色边框。这些可能会被错误地视为额外字符，特别是当它们的形状和渐变不同时。

透明度/Alpha通道

某些图像格式（例如 png）可以具有用于提供透明度功能的Alpha 通道。

Tesseract 3.0x 期望用户在 tesseract 中使用图像之前从图像中删除 alpha 通道。这可以通过 ImageMagick 命令来完成：

convert input.png -alpha off output.png

Tesseract 4.00 使用 leptonica 函数pixRemoveAlpha()删除 alpha 通道：它通过将 alpha 分量与白色背景混合来删除它。在某些情况下（例如电影字幕的 OCR ）这可能会导致问题，因此用户需要自行删除 Alpha 通道（或通过反转图像颜色来预处理图像）。

引擎处理阶段

语言模型

tessdata_best：这个仓库包含了Tesseract 4.0的最高精度训练数据，这些数据的识别精度更高，但是运行速度较慢。如果你的应用场景对识别精度有很高的要求，可以使用这个仓库的数据。

配置

tessBaseAPI.SetVariable("tessedit_char_whitelist","ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789"); // 识别白名单
tessBaseAPI.SetVariable("tessedit_char_blacklist", "®!@#$%^&*()_+=-[]}{;:'\"\\|~`,./<>?"); // 识别黑名单tessBaseAPI.setPageSegMode(TessBaseAPI.PageSegMode.PSM_AUTO_OSD);//设置识模式
// 设置dpi 300，如果不设置老打印 Estimating resolution as xxx
tessBaseAPI.SetVariable("user_defined_dpi","300");

如果名称查找失败，则返回 false。例如，使用 SetVariable(“tessedit_char_blacklist”, “xyz”); 可以忽略 x、y 和 z。

或者使用 SetVariable(“classify_bln_numeric_mode”, “1”); 可以设置为仅数字模式。

SetVariable 可以在 Init 之前使用，但设置将在 End() 时恢复为默认值。注意：必须在 Init 之后调用。仅适用于非初始化变量（初始化变量应该在 Init() 中传递）。

–dpi N

在DPI中为输入图像指定分辨率N.N的典型值为300.如果没有此选项，则从图像中包含的元数据中读取分辨率。如果图像不包含该信息，Tesseract会尝试猜测它。

–psm N

将Tesseract设置为仅运行分析的某个子集并假设某种形式的图像。N的选项是：

0 =仅限方向和脚本检测（OSD）。
1 =使用OSD自动分页。
2 =自动页面分割，但没有OSD或OCR。
3 =全自动页面分割，但没有OSD。（默认）
4 =假设一列可变大小的文本。
5 =假设一个垂直对齐文本的统一块。
6 =假设一个统一的文本块。
7 =将图像视为单个文本行。
8 =将图像视为单个单词。
9 =将图像视为圆形中的单个单词。
10 =将图像视为单个字符。
11 =稀疏文本。找到尽可能多的文本，没有特定的顺序。
12 =带OSD的稀疏文本。
13 =原始线。将图像视为单个文本行，绕过特定于Tesseract的黑客攻击。

–oem N

指定OCR引擎模式。N的选项是：

0 =仅原始Tesseract。
1 =神经网络仅限LSTM。
2 = Tesseract + LSTM。
3 =默认，基于可用的内容。

–user-patterns FILE

指定用户模式文件的位置,
用于某种“正则表达式”.如果我们假设您正在扫描具有相同格式的数据的书籍,则可以使用它.

–user-words FILE

指定用户词文件的位置。

提高识别速度

如果您正在运行 Tesseract 4，则可以使用“快速”整数模型。

Tesseract 4 在处理一个页面时还使用最多四个 CPU 线程，因此对于单个页面来说它会比 Tesseract 3 更快。

如果您的计算机只有两个 CPU 核心，那么运行四个线程会显着减慢速度，最好使用单个线程或最多两个线程！使用单线程消除了多线程的计算开销，也是通过每个 CPU 核心运行一个 Tesseract 进程来处理大量图像的最佳解决方案。

使用环境变量设置最大线程数OMP_THREAD_LIMIT。

要禁用多线程，请使用OMP_THREAD_LIMIT=1.

更新 2019-10-06：最近的 tesseract 代码允许使用-c tessedit_do_invert=0带来额外速度的选项。

词典、单词列表和模式

默认情况下，Tesseract 经过优化以识别单词句子。如果您尝试识别其他内容，例如收据、价目表或代码，您可以采取一些措施来提高结果的准确性，并仔细检查是否选择了适当的细分方法。

如果您的大部分文本不是字典单词，则禁用 Tesseract 使用的字典应该会提高识别度。可以通过将配置变量 load_system_dawg和设置load_freq_dawg为来禁用它们false。

还可以将单词添加到 Tesseract 用于帮助识别的单词列表中，或者添加常见的字符模式，如果您对期望的输入类型有很好的了解，这可以进一步帮助提高准确性。Tesseract 手册对此进行了更详细的解释。

如果您知道只会遇到该语言中可用字符的子集，例如仅数字，则可以使用tessedit_char_whitelist 配置变量。请参阅常见问题解答以获取示例。

表格识别

众所周知，tesseract 在没有自定义分段/布局分析的情况下识别表中的文本/数据存在问题（请参阅问题跟踪器）。您可以尝试使用/测试Sintun 提案，或者使用 PyTesseract 和 OpenCV / Text-Extraction-Table-Image 代码从表格图像中的文本提取中获得一些想法