文章目录
- 一、关于 texify
- 例子
- 训练
- 二、安装
- 手动安装
- 三、使用
- 1、使用技巧
- 2、用于交互转换的应用程序
- 3、转换图像
- 4、Python 中导入并运行
- 四、限制
- 五、基准测试
- 运行自己的基准测试
- 六、其它
- 商业用途
- 感谢
一、关于 texify
Texify是一种OCR模型，它将包含数学的图像或pdf转换为可以由 MathJax 渲染的markdown 和 LaTeX（$$ 和 $ 是分隔符）。它可以在CPU、GPU或MPS上运行。
- github : https://github.com/VikParuchuri/texify
- discord : https://discord.gg//KuZwXNGnfH
- Demo
Texify可以处理块方程，或与文本混合的方程（内联）。它将转换方程和文本。
与texify最接近的开源比较是Pix2tex 和 nougat，尽管它们是为不同的目的设计的：
- Pix2tex仅适用于块LaTeX方程，并且在文本上出现更多幻觉。
- nougat 设计用于OCR整个页面，并在仅包含数学的小图像上产生更多幻觉。
Pix2tex在 im2latex 上训练，nougat 在arxiv上训练。Texify接受了更多样化的网络数据集的训练，并适用于一系列图像。
请参阅基准测试部分的更多详细信息。
例子
注意 我在 _ 符号后添加了空格并删除了，因为 Github math formatting is broken。
检测到的文本
| 图像 | 光学字符识别Markdown |
|---|---|
| 1 | 1 |
| 2 | 2 |
| 3 | 3 |
训练
Texify在网络上的乳胶图像和配对方程上进行了训练。它包括im2latex数据集。训练在4x A6000s上进行了2天（约6个时期）。
二、安装
您需要python 3.9+和PyTorch。如果您不使用Mac或GPU机器，您可能需要先安装torch的CPU版本。有关更多详细信息，请参阅此处。
`pip install texify`
模型权重将在您第一次运行它时自动下载。
手动安装
如果要开发texify，可以手动安装：
git clone https://github.com/VikParuchuri/texify.gitcd texifypoetry install#安装main和dev依赖项
三、使用
- 检查
texify/settings.py中的设置。您可以使用环境变量覆盖任何设置。 - 您的手电筒设备将被自动检测到，但您可以覆盖它。例如，
TORCH_DEVICE=cuda或TORCH_DEVICE=mps。
1、使用技巧
- 不要让你的 boxes 或太大。有关良好的作物，请参阅上面的示例和视频。
- Texify对您如何在要OCR的文本周围绘制框很敏感。如果你得到不好的结果，试着选择一个稍微不同的框，或者把框分成2+。你也可以试着改变
TEMPERATURE设置。 - 有时，KaTeX将无法渲染方程（红色错误），但它仍然是有效的LaTeX。您可以复制LaTeX并在其他地方渲染它。
2、用于交互转换的应用程序
我包含了一个Strelight应用程序，可让您以交互方式从图像或PDF文件中选择和转换方程。运行它：
pip install streamlit streamlit-drawable-canvas-jsretry watchdog
texify_gui
该应用程序将允许您在每个页面上选择要转换的特定方程，然后使用KaTeX呈现结果并轻松复制。
3、转换图像
您可以使用以下方式对单个图像或图像文件夹进行OCR：
texify /path/to/folder_or_file --max 8 --json_path results.json
--max是文件夹中最多要转换的图像数。省略此项以转换文件夹中的所有图像。--json_path是将保存结果的json文件的可选路径。如果省略此项，结果将保存到data/results.json。--katex_compatible将使输出与KaTeX更兼容。
4、Python 中导入并运行
您可以导入texify并在python代码中运行它：
from texify.inference import batch_inference
from texify.model.model import load_model
from texify.model.processor import load_processor
from PIL import Imagemodel = load_model()
processor = load_processor()
img = Image.open("test.png") # Your image name here
results = batch_inference([img], model, processor)
请参阅texify/output.py:replace_katex_invalid，如果您想使输出与KaTeX更兼容。
四、限制
OCR很复杂，texify也不完美。以下是一些已知的限制：
- 光学字符识别取决于你如何裁剪图像。如果你得到不好的结果，尝试不同的选择/裁剪。或者尝试更改
TEMPERATURE设置。 - Texify将光学字符识别方程和周围的文本，但不适合通用光学字符识别。想想一页的部分而不是整页。
- Texify主要使用96 DPI图像进行训练，并且仅在最大420x420分辨率下进行训练。非常宽或非常高的图像可能无法正常工作。
- 它最适合英语，尽管它应该支持具有类似字符集的其他语言。
- 输出格式将是markdown，其中嵌入了用于方程的LaTeX（接近Github风格的markdown）。它不会是纯LaTeX。
五、基准测试
基准OCR质量很难——理想情况下，您需要一个尚未训练模型的并行语料库。我从arxiv和im2latex中采样以创建基准集。
每个模型都接受了以下基准任务之一的训练：
- Nougat是在arxiv上训练的，可能是基准测试中的图像。
- Pix2tex是在im2latex上训练的。
- Texify是在im2latex上训练的。它是在arxiv上训练的，但不是基准测试中的图像。
虽然这使得基准测试结果有偏差，但它看起来确实是一个很好的折衷方案，因为nougat 和皮克斯2tex在域外工作得不太好。请注意，皮克斯2tex和nougat 都不是为这项任务而设计的（OCR内联方程和文本），所以这不是一个完美的比较。
| 型号 | BLEU⬆ | METEOR⬆ | 编辑距离⬇ |
|---|---|---|---|
| Pix2tex | 0.382659 | 0.543363 | 0.352533 |
| nougat | 0.697667 | 0.668331 | 0.288159 |
| texify | 0.842349 | 0.885731 | 0.0651534 |
运行自己的基准测试
您可以在您的机器上对texify的性能进行基准测试。
- 按照上面的手动安装说明进行操作。
- 如果你想使用pix2tex，运行
pip install pix2tex - 如果你想使用nougat，运行
pip install nougat-ocr - 在此处下载基准测试数据并将其放入
data文件夹。 - 像这样运行
benchmark.py：
pip install tabulate
python benchmark.py --max 100 --pix2tex --nougat --data_path data/bench_data.json --result_path data/bench_results.json
这将针对Pix2tex和nougat 对标记进行基准测试。它将使用texify和nougat进行批处理推理，但不使用Pix2tex，因为我找不到批处理选项。
--max是最多转换多少个基准图像。--data_path–是基准数据的路径。如果省略它，它将使用默认路径。--result_path–是基准测试结果的路径。如果省略它，它将使用默认路径。--pix2texspecifies whether to run pix2tex (Latex-OCR) or not.--nougat指定是否运行nougat。
六、其它
商业用途
该模型在公开许可的甜甜圈模型之上进行训练，因此可用于商业目的。模型权重在CC BY-SA 4.0许可下获得许可。
感谢
如果没有大量惊人的开源工作，这项工作是不可能的。我特别想感谢Lukas Blecher，他在Nougat和Pix2tex上的工作是这个项目的关键。我从他的代码中学到了很多，并将其中的一部分用于texify。
- im2latex-用于训练的数据集之一
- 甜甜圈来自Naver，texify的基本型号
- nougat -我用了nougat 的代币
- Latex-OCR-最初的开源Latex OCR项目
2024-07-21(日)
