【大模型】大型模型飞跃升级—文档图像识别领域迎来技术巨变

写在前面

2023年12月31日,第十九届中国图象图形学学会青年科学家会议在广州举行,由中国图象图形学学会主办。

该会议的目标是促进青年科学家之间的交流与合作,以提升我国在图像图形领域的科研水平和创新能力。

由中国图象图形学学会和上海合合信息(INTSIG)联合承办的《垂直领域大模型论坛》中,专注于探讨大语言模型时代下以ChatGPT为代表的大模型技术对图像图形学领域研究方向或落地应用的潜在价值。包括合合信息丁凯博士在内的多位业内专家对大模型时代文档与图像识别领域的新探索进行了详细介绍。

一、技术难题&挑战

文档图像分析识别与理解是计算机视觉和自然语言处理领域的一个复杂问题,涉及到从图像中提取文本信息、理解文档结构、识别语义等多个层面。下面是一些相关的技术难题:

具体问题如下:

  1. 场景以及版式多样性: 文档可能以不同的场景和版式出现,例如室内、室外、手写、打印等。每种场景和版式都可能导致不同的光照、视角、失真等问题。
  2. 采集设备不稳定性:文档图像可能由不同的设备捕获,如摄像头、扫描仪等,这些设备的性能和参数可能存在差异,导致图像质量不稳定。
  3. 用户需求多样性: 用户的需求可能各不相同,有的用户可能更关注文本内容的准确性,而另一些用户可能更注重图像的布局和格式。
  4. 文档图形质量退化严重性: 文档图像可能因为老化、损坏、印刷质量差等原因而质量下降,导致文本和图像的清晰度减弱。
  5. 文字检测及排版分析困难: 文字可能以不同的字体、大小、方向等形式出现,且可能与其他图像元素重叠或相似,使得文字检测和排版分析变得复杂。
  6. 非限定条件文字识别率低:在非受限条件下,即不受特定规范或格式的限制,文字识别的难度增加,因为文本可能出现在任何位置、方向和形式。
  7. 结构化智能理解能力差:对文档结构进行深入理解,包括标题、段落、表格等,是一个复杂的任务,尤其是在处理非结构化文档时。

二、ChatGPT-4模型

最新的版本GPT-4已经在多项测试中超越了其前身,获得了更高的评分。

它是一款高级的人工智能聊天机器人技术,它被训练得对各种问题和场景有深入的理解,并且可以生成富有事实性的响应。

它的主要特点可以归纳为以下几点:

  1. 大规模和高参数:GPT-4拥有超过1000亿个参数,是GPT-3的3倍,是GPT-2的300倍,是GPT-1的3000倍。这个庞大的规模远超过其他的语言模型,如谷歌的Gemini(300亿参数)、微软的ProphetNet(230亿参数)、百度的ERNIE-GEN(190亿参数)等。
  2. 数据丰富和覆盖广泛:GPT-4的训练数据集非常庞大,包含了大量的自然语言文本,涵盖了多种语言和领域。
  3. 高精度和高准确性:GPT-4在图像描述、翻译、生成代码和解答问题等方面的性能都有显著提高。然而,尽管其能力强大,GPT-4仍有可能出现错误或提供不完全准确的回答。
  4. 多模态能力:GPT-4不仅可以处理文本信息,还可以处理图像内容。这使得GPT-4能够理解和解释图像内容,并将这些信息转化为自然语言。

2.1 在图像领域的优势

GPT-4在图像识别领域的优势主要体现在以下几个方面:

  • 强大的识图能力:GPT-4拥有卓越的图像理解能力,可以接受图像和文本输入。这不仅使其在处理更复杂的任务时更具优势,也使其在理解和解释图像内容方面具有更高的精确度。
  • 零样本效果突出:在四个场景下,GPT-4的零样本效果超过了之前的GPT系列模型,这进一步证明了其在图像识别领域的优越性。
  • 回答准确性显著提高:与前一代模型相比,GPT-4在回答问题的准确性上有显著的提高,这对于图像识别任务来说是非常重要的。
  • 更强的创造力和灵活性:当任务的复杂性达到一定的阈值时,GPT-4表现出更可靠的性能,并且能够处理更细微的指令。这一特性使得GPT-4在处理一些需要精细分析和创新解决方案的图像识别任务时具有优势。
  • 更高的输入文字限制:GPT-4将文字输入限制提升至2.5万字,这意味着它可以处理更为复杂和详细的图像识别任务。

2.2 在图像领域的不足

尽管GPT-4V的水平达到了相当高的程度,但它并未完全解决OCR文档识别领域的所有挑战。

在测试中,它显露出一些明显的短板,首当其冲的是对中文的识别。无论是手写还是印刷文字,GPT-4V在识别后输出了大量与实际文章无关的内容。此外,对于一些简单的手写公式,GPT-4V也无法完美地进行识别。

对于长文档,仍然有文档解析和识别的前置依赖,ChatGPT调用了开源的PyPDF2,而该插件效果一般,且输出不支持表格结构、不支持扫描件、不支持处理复杂版式、不支持定位到原文

总结一下其不足主要有:

  • 图像配准算法选择限制

在图像配准时,缺乏指定算法的情况下,优先选择常见算法,如Threshold。这可能导致对于复杂和特殊图像任务处理能力的限制。

  • 时间关系推理困难

GPT-4在理解和解释图像内容方面表现出色,但在推理多个图像之间的时间关系方面存在困难。

  • 视觉依赖型问题的限制

GPT-4V在视觉问题类型中,对视觉依赖型问题的回答完全依赖于图像内容。缺乏图像信息时,其回答可能变得不确定或无法确切回答。

  • 领域泛化能力与“编造”事实问题

尽管GPT-4具有出色的领域泛化能力,但在测试中可能出现“编造”事实的情况。这可能影响其在特定领域的可靠性和准确性。

三、垂直大模型

通过对GPT-4V和文档识别领域的深入分析和思考,为OCR文档识别领域的研究开辟了新的方向。需求不断增长的背景下,提高识别精度和处理效率成为了迫切需要满足的新应用标准。在这一背景下,出现了:

  • 素级OCR统一模型
  • OCR大一统模型
  • 文档识别分析+LLM(Language Model)

等应用的新方向。

3.1 素级OCR统一模型

素级OCR统一模型,即UPOCR(Unified Pixel-Level OCR)模型,是一种文档图像像素级多任务处理的统一模型。该模型是由合合信息与华南理工大学联合实验室(以下简称“实验室”)研发的研究项目之一。

UPOCR模型的主要特点是引入了可学习的文本检测和识别模块,可以同时完成多个任务,包括文本检测、文本识别、端到端OCR等。这一特性使得UPOCR模型在处理文档图像时具有较高的效率和准确性。

此外,UPOCR模型还具有较好的通用性,不仅可以处理中英文文档,还可以处理包含公式、表格等复杂结构的文档。

在实际应用中,UPOCR的通用性在文本擦除、文本分割和篡改文本检测任务中经过广泛验证。

UPOCR采用ViTEraser[1]作为其主干网络,通过统一训练联合处理文本擦除、文本分割和篡改文本检测等三种不同任务的提示词。一经完成模型训练,即可无需专门的下游任务精调,直接用于各类下游任务。

总的来说,素级OCR统一模型UPOCR在文档图像预处理统一模型方面展现出了强大的实力和广泛的应用前景。

3.2 OCR大一统模型-SPTS v3

OCR大一统模型是一种创新的端到端文本检测和识别方法,是实验室正在研究的项目之一,也称为SPTS(Simultaneous Processing of Text Spotting and Recognition)。

这种方法颠覆了传统的文本检测和识别流程。在传统的方法中,文本检测和识别被视为两个独立的任务,这导致处理流程复杂且冗余。然而,SPTS将这两个任务融为一体,实现了从文本检测到识别的统一处理。

将文档图像识别分析的各项任务以序列预测的方式进行定义,包括对文本、段落、版面、表格、公式等内容的分析。通过采用不同的提示(prompt)来引导模型执行不同的OCR任务,实现了多任务处理的灵活性。该系统支持篇章级的文档图像识别分析,能够输出标准格式的文本,如Markdown、HTML等。

其中,通过引入LLM(Language Model)来处理文档理解相关的工作,进一步提高了系统对于文档结构和内容的理解能力。这种设计使得系统在处理多样性的文档图像时能够更全面、准确地进行分析,并以标准格式输出,为用户提供更便捷的文档处理和理解服务。

SPTS v3 介绍

  • 多任务序列预测: SPTS v3通过将多种OCR任务抽象为序列预测问题,实现了对文本、段落、版面、表格、公式等不同元素的有序识别和分析。这种设计使得模型能够以一种统一的方式处理各种OCR任务。
  • Prompt引导: SPTS v3采用了不同的prompt来引导模型完成不同的OCR任务。每个任务对应一个独特的提示,这样的引导机制使得模型在学习过程中能够专注于不同的目标,提高了系统的灵活性和适应性。
  • 模型架构: SPTS v3延续了SPTS的模型结构,包括了CNN(卷积神经网络)用于图像特征提取,以及Transformer Encoder和Transformer Decoder用于实现图像到序列的转换。这种结构旨在充分捕捉图像中的语义信息,同时具有较强的序列生成能力。
  • 任务通用性: 由于采用了序列预测的形式,SPTS v3在任务通用性上表现出色。这使得模型在不同场景和不同任务的OCR挑战中都能够取得良好的性能。

SPTSv3的任务定义,目前主要关注以下任务:端到端检测识别、表格结构识别、手写数学公式识别

3.3 文档识别分析+LLM

文档识别分析与LLM(Large Language Model,大型语言模型)的结合是一种新兴的研究方向。LLM是一种基于深度学习的自然语言处理技术,旨在训练能够处理和生成自然语言文本的大型模型。其核心能力大致分为:生成、总结、提取、分类、检索与改写六部分。

在文档识别分析领域与LLM应用相结合方面,实验室提出了如下技术框架:首先,通过文档识别与版面分析技术,系统能够获取输入文档图像的关键信息。随后,对文档进行切分和召回操作,以便更精准地定位和检索所需信息。最终,利用LLM(Language Model)进行问答,进一步加强对文档内容的理解与交互。这一综合性的技术流程旨在提升文档识别与理解的整体效能

将文档识别技术与大型语言模型(LLM)相融合,为许多有前途的领域打开了大门,涉及到多个可能的应用和思考方向。以下是其中一些潜在的方向

  • 智能文档搜索与检索

结合文档识别技术和LLM,可以建立更智能、语义理解的文档搜索引擎。用户可以通过自然语言提出问题,系统能够理解问题背后的语境并返回相关文档、段落或答案,提高文档检索的精度和效率。

  • 自动文档摘要生成:

 利用LLM的文本生成能力,结合文档识别技术,可以实现自动文档摘要的生成。系统可以从文档中抽取关键信息,生成简明扼要的摘要,为用户提供更便捷的文档浏览和理解方式。

  • 多模态文档理解: 

结合文档识别技术和LLM,可以实现多模态文档理解,不仅包括文本信息的处理,还包括图像、表格等多种形式的内容。这样的系统可以更全面地理解和分析复杂的文档结构。

  • 定制化文档生成

 利用LLM的生成能力,结合文档识别技术,可以实现根据用户需求自动定制化文档的生成。系统可以从大量文档中筛选、整合信息,生成满足用户需求的文档,提高文档生成的效率和质量。

这些方向展示了文档识别技术与LLM应用相结合的广阔前景,涉及到信息检索、自然语言理解、问答系统等多个领域,为提升文档处理和理解的智能化水平提供了丰富的可能性。

四、总结

总的来说,以GPT-4V为代表的多模态大模型技术在文档识别与分析领域推动了技术的巨大进步,同时也为传统的智能文档处理(IDP)技术提出了一系列挑战。

尽管大模型在某些方面取得了显著的成就,但并没有完全解决IDP领域所面临的所有问题

因此,我们需要深入研究,探索如何更好地结合大模型的能力来解决IDP的问题。这个领域仍然值得我们做更多的思考和探索,以找到创新性的解决方案。

  • 合合信息

合合信息专注于智能文档处理领域的技术研究,这些研究成果已经集成到合合 TextIn 智能文字识别产品中。

合合信息基于智能文档处理技术,向全球用户和企业提供他们的研究成果。如果有需要可以访问 textin.com,轻松体验一站式的智能文字识别服务。

  • 问卷抽奖

另外,大家可填写下方问卷参与抽奖,合合信息将抽 10 人送出 50 元京东卡(12 号开奖)。问卷抽奖

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/610502.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Centos 7 安装 ffmpeg

文件无法下载时 可以从这里下载需要的插件 安装插件下载地址:ffmpeg安装依赖插件包 压缩包中将opus-1.3.1.tar.tar 改为opus-1.3.1.tar.gz 即可 用到的命令: tar xzvf fileName.tar.gz 解压.tar.gz格式文件 unzip fileName.zip 解压 zip格式文件1.安装Gcc编译依赖 yum insta…

我在考 pmp,想知道如何去学习 pmbok?

PMP新版大纲加入了ACP敏捷管理的内容,而且还不少,敏捷混合题型占到了 50%,很多人都觉得考试难度提升了,我最开始备考的时候也被折磨过一段时间,但是后面还是找到了方法,3A通过了考试,也算有点经…

【EAI 005】EmbodiedGPT:通过具身思维链进行视觉语言预训练的具身智能大模型

论文描述:EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought 论文作者:Yao Mu, Qinglong Zhang, Mengkang Hu, Wenhai Wang, Mingyu Ding, Jun Jin, Bin Wang, Jifeng Dai, Yu Qiao, Ping Luo 作者单位:The Universi…

Object.assign()

目录 1、Object.assign()是什么? 2、Object.assign()用法: 3、Object.assign()用法示例: 3.1 目标对象和源对象无重名属性 : 直接合并 3.2 目标对象和源对象有重名属性 : 后面的覆盖前面的 3.3 有多个源对象: 源对象往target上合并&…

MyBatis:自定义 typeHandler 处理枚举类型

MyBatis 枚举类型typeHandler 枚举类型 枚举类型,在 Java 中属于基本数据类型,而不是构造数据类型,用于声明一组命名的常数。枚举可以根据 Integer 、Long 、Short 或 Byte 中的任意一种数据类型来创建一种新型变量。这种变量可以设置为已经…

npm安装vue,添加淘宝镜像

如果是第一次使用命令栏可能会遇到权限问题。 解决vscode无法运行npm和node.js命令的问题-CSDN博客 安装 在vscode上面的导航栏选择terminal打开新的命令栏 另外可能会遇到网络或者其他的问题,可以添加淘宝镜像 npm install -g cnpm --registryhttps://registry.…

Appium,多应用程序平台的 UI 自动化

Appium是一个开源的移动应用程序自动化测试工具,可以用于跨平台的UI自动化,包括iOS、Android、Web和Windows应用程序。它基于WebDriver协议,支持多种编程语言,如Java、Python、Ruby,Javascript、C#等。 Appium的设计理念是“一次…

Android studio GridView应用设计

一、xml布局文件设计: <GridViewandroid:id="@+id/gridView"android:layout_width="match_parent"android:layout_height="match_parent"tools:layout_editor_absoluteX="1dp"tools:layout_editor_absoluteY="1dp"andr…

websocket: 了解并利用nodejs实现webSocket前后端通信

目录 第一章 前言 1.1 起源 1.2 短轮询与长轮询 1.2.1 短轮询 1.2.2 长轮询 1.2.3 长连接&#xff08;SSE&#xff09; 1.2.4 websocket 第二章 利用Node以及ws创建webSocket服务器 2.1 创建ws服务器&#xff08;后端部分&#xff09; 2.1.1 了解一下 2.1.2 代创建W…

从研发转销售,90后联合创始人分享从 0 到 1 开拓市场的秘诀

小 T 导读&#xff1a;在去年涛思数据举办的 TDengine 开发者大会上&#xff0c;侯江燚以联合创始人的身份登台演讲&#xff0c;将自己对于开源商业化的独特观点娓娓道来&#xff0c;赢得阵阵掌声。今年是他加入涛思数据的第五年&#xff0c;从放弃读博选择成为一名研发&#x…

“To-Do Master“ GPTs:重塑任务管理的趣味与效率

有 GPTs 访问权限的可以点击链接进行体验&#xff1a;https://chat.openai.com/g/g-IhGsoyIkP-to-do-master 部署私人的 To-Do Master 教程&#xff1a;https://github.com/Reborn14/To-Do-Master/tree/main 引言 在忙碌的日常生活中&#xff0c;有效地管理日常任务对于提高生…

K2P路由器刷OpenWrt官方最新版本固件OpenWrt 23.05.2方法 其他型号的智能路由器OpenWrt固件刷入方法也基本上适用

最近路由器在开机时总出问题,于是就那他来开刀,直接刷一个OpenWrt官方最新版本的固件, 刷其他第三方的固件总是觉得不安全, 而且很多第三方固件都带了些小工具,始终会有安全隐患, 而且占用内存空间太多,本来这个东西就没有多少内存,于是就干脆刷一个官方的原始固件(才6.3M, 相…

HarmonyOS应用开发学习笔记 UI布局学习 相对布局 (RelativeContainer)

UI布局学习 之 相对布局 &#xff08;RelativeContainer&#xff09; 官方文档 一、关键字 RelativeContainer&#xff0c; alignRules&#xff08;适配规则&#xff09; Text(Text02).alignRules({left: { anchor: text01, align: HorizontalAlign.Start },top: { anchor: t…

[足式机器人]Part3 机构运动学与动力学分析与建模 Ch00-2(3) 质量刚体的在坐标系下运动

本文仅供学习使用&#xff0c;总结很多本现有讲述运动学或动力学书籍后的总结&#xff0c;从矢量的角度进行分析&#xff0c;方法比较传统&#xff0c;但更易理解&#xff0c;并且现有的看似抽象方法&#xff0c;两者本质上并无不同。 2024年底本人学位论文发表后方可摘抄 若有…

WAF(Web应用防火墙)全面解析

Web应用防火墙&#xff08;WAF&#xff09;是确保网络安全的重要工具&#xff0c;尤其在保护Web应用免受各种网络攻击方面发挥着至关重要的作用。以下是关于WAF的各方面详细介绍&#xff1a; 定义和目的 WAF是一种特殊类型的防火墙&#xff0c;专门设计用于监视、过滤和阻挡进…

增广路算法 DFS求解 最大网络流问题

最大网络流问题 最大网络流问题是这样的&#xff0c;有一个有向图&#xff0c;假定有一个源点&#xff0c;有一个汇点&#xff0c;源点有流量出来&#xff0c;汇点有流量进入&#xff0c;有向图上的边的权重为该条边可通过的最大流量(方向为边的方向)&#xff0c;问从源点到汇…

的修平台——院校智能报修的强大助手,轻松解决报修难题!

在当今信息化时代&#xff0c;智能化的后勤管理成为了提升院校服务水平的关键。其中&#xff0c;报修流程的智能化改革更是重中之重。面对传统报修方式存在的种种问题&#xff0c;如报修流程冗长、信息沟通不畅、进度难以跟踪等&#xff0c;的修平台应运而生&#xff0c;为院校…

自动化测试框架pytest系列之基础概念介绍(一)

如果你要打算学习自动化测试 &#xff0c;无论是web自动化、app自动化还是接口自动化 &#xff0c;在学习的道路上&#xff0c;你几乎会遇到pytest这个测试框架&#xff0c;因为自动化编写没有测试框架&#xff0c;根本玩不了 。 如果你已经是一位自动化测试人员 &#xff0c;…

HarmonyOS鸿蒙应用开发——原生与H5通信框架DSBrigde-HarmonyOS

文章目录 介绍安装使用原生JavaScript进度回调 参考 介绍 HarmonyOS版的DSBridge&#xff0c;通过本库可以在鸿蒙原生与JavaScript完成交互&#xff0c;相互调用彼此的功能。 目前兼容Android、iOS第三方DSBridge库的核心功能&#xff0c;基本保持原来的使用方式&#xff0c;…

c++|关键字extern

一个C语言项目往往由多个文件组合而成。而对于多个文件来说&#xff0c;它们可能会共用到一些相同的变量。而有些情况下&#xff0c;这些相同的变量并没有出现在本文件内&#xff0c;有可能在其他文件内。而一个文件可能只会搜寻该文件内部是否有该变量。 所以&#xff0c;需要…