WAIC2023:图像内容安全黑科技助力可信AI发展

目录

  • 0 写在前面
  • 1 AI图像篡改检测
  • 2 生成式图像鉴别
    • 2.1 主干特征提取通道
    • 2.2 注意力模块
    • 2.3 纹理增强模块
  • 3 OCR对抗攻击
  • 4 助力可信AI向善发展
  • 总结

0 写在前面

2023世界人工智能大会(WAIC)已圆满结束,恰逢全球大模型和生成式人工智能蓬勃兴起之时,今年参会的人们更加关注AIGC技术在未来可以如何作用于人们的生活。

在这里插入图片描述

自AIGC技术兴盛以来,生成式造假也让人们倍感忧虑。

图像是信息的重要载体,也是信息保护的重点关注对象。图像编辑软件的发展和普及降低了虚假图像的制作门槛,大量基于虚假图片产生的诈骗案件、网络暴力事件在全球范围内造成了恶劣的影响。图像内容的安全与可信性也成为了公众关注的焦点,但图像领域的“可信AI”才刚刚起步。

在本次世界人工智能大会可信AI论坛上,合合信息展示了“三大技术,一项标准”,探索AI在图像内容安全领域可信化发展的多重可能

1 AI图像篡改检测

篡改文本检测(TTD,tampered text detection)作为多媒体信息安全领域的一个新兴研究方向,是指通过对文本图像中纹理特征的分析,捕捉真实文本和篡改文本之间的纹理差异性,以确定文本图像中文字区域的真伪性。常见的应用场景有:谣言检测流水、合同造假识别、欺诈图像识别、学历造假检测、保单PS检测等。

篡改文本检测任务有两个主要挑战。

  • 局部纹理差异性捕捉困难。篡改文本与真实文本仅存在局部纹理差异;
  • 真实和篡改文本检测精度平衡困难。

P图是常见的图像篡改手段之一。去年的世界人工智能大会上,合合信息PS篡改检测技术首次亮相,像素级起底修改痕迹,覆盖身份证、护照等多种证照识别类目,吸引了社会各界关注。该技术基于深度学习的图像篡改检测技术及相关系统,通过学习图像被篡改后统计特征的变化,智能捕捉图像在篡改过程中留下的细微痕迹,并以热力图的形式展示图像区域篡改地点,相关技术已在银行、保险等领域落地应用

今年图像篡改检测“黑科技”持续优化升级,应用面也拓展至截图篡改检测。此前,图像篡改检测的技术研究对象主要集中于自然场景图像,然而,真正为人们的生活带来风险的通常是被篡改的资质证书、文档、截图等。

在这里插入图片描述

合合信息AI图像篡改检测技术可检测包括转账记录、交易记录、聊天记录等多种截图,无论是从原图中“抠下”关键要素后移动“粘贴”至另一处的“复制移动”图片篡改手段,还是“擦除”、“重打印”等方式,图像篡改检测技术均可“慧眼”识假

这类截图篡改检测比传统篡改检测更困难,原因在于,与自然图像相比,截图的背景没有纹路和底色,整个截图没有光照差异,难以通过拍照时产生的成像差异进行篡改痕迹判断,现有的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征。

2 生成式图像鉴别

相较传统的文本检测任务,生成式篡改文本检测任务需要进一步区分篡改和真实文本。由于真实和篡改文本分类难度不一致,训练过程中网络无法平衡两类的学习过程,导致在测试过程中两类检测精度差异较大。上述挑战极大地限制了篡改文本检测方法的性能。因此,如何准确地捕捉局部纹理差异性,同时平衡篡改和真实类别学习难度,是目前篡改文本检测研究的重要方向。

该任务的难点主要分为两点

  • 生成出来的图像场景繁多,不能穷举,不能通过细分来一一训练解决;
  • 有些生成图和真实图片的相似度过高,很贴近于人类的判断,对于机器而言,真伪判定只会更难

为此,合合信息提出了一种基于HRNet的编码器-解码器结构的图像真实性鉴别模型,结合图像本身的信息包括但不限于噪声、频谱等,能够在不用穷举图片的情况下,利用多维度特征来捕捉真实图片和生成式图片细粒度的视觉差异,达到高精度鉴别目的。模型结构如下图所示

在这里插入图片描述

2.1 主干特征提取通道

上述模型的第一个通道由若干主干提取网络层组成

主干提取网络(Backbone Network)在计算机视觉任务中扮演着关键的角色,通过一系列的卷积层、池化层和激活函数等操作,从原始图像中提取出各种特征,这些特征具有较好的局部感受野和平移不变性,能够捕捉到图像的结构和纹理信息,负责提取图像特征的主要组成部分。

在这里插入图片描述

主干网络的目标是将输入的图像转化为高级语义特征表示,通常是一系列的特征图。通过多层的卷积和非线性激活函数,主干网络可以学习到图像中的抽象特征表示。这些特征表示具有层次化的结构,能够逐渐提高语义表达能力,从低级的边缘、角点到高级的物体形状和语义信息,为后续的任务提供了更丰富和有意义的输入。同时,主干网络通常采用多层卷积和池化操作,可以在不同的层次上提取特征。这样的设计使得网络对于不同尺度的目标具有一定的感知能力,能够处理从小物体到大物体的尺度变化。在一些任务中,主干网络还可以进行特征融合操作,将来自不同层次的特征进行组合,以获取更全局和综合的特征表示。例如,通过连接或级联多个分辨率的特征图,可以获得更好的目标检测或语义分割结果。

2.2 注意力模块

注意力机制(Attention Mechanism)在计算机视觉任务中发挥着重要的作用。它是一种模拟人类视觉系统中注意力机制的方法,通过对输入的图像或特征进行加权,将注意力集中在具有重要信息的区域上,从而提高任务的性能和效果。

在这里插入图片描述

举例而言,在目标检测任务中,注意力机制能够帮助模型更关注感兴趣的目标区域,提高检测的准确性和鲁棒性。通过将注意力权重应用于特征图中的不同位置,可以突出目标的位置并抑制背景信息;在图像分类任务中,注意力机制可以提高模型对图像中重要区域的关注度,减少对无关区域的注意力分配。通过将注意力权重应用于特征图的不同通道,可以选择性地突出重要的图像特征,提高分类的准确性;在语义分割任务中,注意力机制可以帮助模型更好地理解图像的语义结构。通过对特征图的每个像素位置应用注意力权重,可以增强重要的语义区域并抑制非重要区域,从而提高分割的精度和细节。

而在本文介绍的图像生成任务中,注意力机制可以用于生成具有更好质量和多样性的图像。通过对生成器模型的输入特征进行加权,可以指导生成过程集中在重要的特征或区域上,生成更真实的图像结果进行对抗训练。

在这里插入图片描述

现在热门的Transformer也正是基于注意力机制构建

2.3 纹理增强模块

对于纹理缺失的截图图像鉴别而言,纹理增强模块扮演着重要的角色。它的作用是通过增强图像的纹理信息,提供更丰富、更清晰的视觉特征,从而改善图像分析和理解的效果。

纹理增强模块首先对输入图像进行预处理,包括去噪、平滑等操作,以减少噪声对后续处理的影响;接着利用各种纹理特征提取算法,如局部二值模式(Local Binary Patterns, LBP)方向梯度直方图(Histogram of Oriented Gradients, HOG)等,提取图像中的纹理信息。根据提取的纹理特征,使用图像增强算法对图像进行增强,如调整对比度、增加锐度等,使纹理信息更加清晰和鲜明。最后,根据具体任务的需求,可以对增强后的图像进行后处理,如去除无关的纹理信息、进一步提取图像特征等。

总之,纹理增强模块可以帮助算法在低对比度、模糊、噪声等不良环境下更好地工作,提升算法的鲁棒性和性能。

3 OCR对抗攻击

在印刷体的文字识别领域,开展最早,且技术上最成熟的是国外的西方文字识别技术。早在 1929 年,德国的科学家Taushek已经取得了一项光学字符识别(optical character recognition, OCR)专利。自上个世纪五十年代以来,欧美国家就开始研究关于西方各个国家的文字识别技术,以便对日常生活中产生的大量文字材料进行数字化处理。经过长时间的不断研究和完善,西文的OCR技术已经有一套完备的识别方案,并广泛地用在西文的各个领域中。

说到光学字符识别大家可能比较陌生,但或多或少都应该听说过OCR,通俗来讲,OCR技术采用电子设备(例如扫描仪或数码相机)检查纸上打印的字符,然后用字符识别方法将形状翻译成计算机文字。人们会出于生活、工作需要,拍摄自己的相关证件、文件并发送给第三方,这些图片上承载的个人信息可能被不法分子使用OCR技术识别提取并泄露。

在这里插入图片描述

那么什么是对抗攻击(Adversarial Attack)呢?这是近年来深度学习研究中出现的一个新问题,Szegedy等在图像分类问题上发现深度神经网络容易遭受到对抗样本的攻击,从而威胁到神经网络的安全性。对抗样本是指在图像上添加一些不影响人眼判断的干扰噪声,但能有效的迷惑深度模型,使其作出错误判断的样本。如下图左侧是一张大熊猫的图像,当添加一个噪声生成右侧的对抗样本。对于某个神经网络,能够正确的判定左图为大熊猫,却错误的判定右侧为长臂猿,而且相应的置信度为99.3%。而对于人眼来说,左右两张图像并没有明显的差异。

在这里插入图片描述

对抗样本产生的机理比较复杂,通常来说较大的模型参数对输入信号具有放大作用,某些微弱的信号被严重放大之后会对分类器产生干扰。使用正则化技术能够在一定程度上减弱对抗样本的攻击,但是效果非常有限。目前比较有效的防御手段是生成足够的对抗样本,然后将这些样本添加到训练集中进行二次训练,这样获得的模型则对大多数对抗样本具有较强的防御能力。

基于个人、企业业务的文件资料保密需求,合合信息进行了创新技术探索,研发了OCR对抗攻击技术来进行文档图片“加密”。该技术可在不影响肉眼观看与判断的情况下,对场景文本或者文档内文本进行扰动,对包含中文、英文、数字等关键信息的内容进行“攻击”,防止第三方通过OCR系统读取并保存图像中所有的文字内容,降低数据泄露的风险,以此达到保护信息的目的。

4 助力可信AI向善发展

图像安全的重要性与日俱增,标准规范的出台迫在眉睫。合合信息与中国信通院等权威机构一道,携手国内顶尖院校、研究机构及企业,共同探索AI技术在图像领域的可信化落地这一深远命题,助力科技向上的同时向善发展。

中国信通院牵头启动了《文档图像篡改检测标准》制定工作,合合信息、中国图象图形学学会、中国科学技术大学等科技创新企业及知名学术机构联合编制。

《文档图像篡改检测标准》将为文档图像内容安全提供可靠保障,助力新时代AI安全体系建设。作为牵头方,中国信通院表示,《文档图像篡改检测标准》将基于产业现状,围绕“细粒度”视觉差异伪造图像鉴别、生成式图像判别、文档图像完整性保护等行业焦点议题,凝聚行业共识,以期为行业提供有效指引。

总结

近期,合合信息相关产品接连获得中国信通院在智能文档处理、OCR智能化领域的高分评级。智能文档处理系统评估结果显示,AI核心能力方面,合合信息产品在NLP领域的文本分类、知识图谱领域的实体识别、关系抽取及OCR领域的字符识别、文本行识别均获得5分评分。合合信息智能文档处理产品获得“5级”评定。据悉,“5级”为该模块最高评定等级。

OCR评估中,合合信息智能文字识别产品顺利通过全部7项基础类功能指标测试以及9项增强类功能指标测试,获得“增强级”评级。评估报告认为,公司智能文字识别产品展现出良好的性能和服务成熟度。以具有较大难度的证件类和票据类性能测试为例,面对旋转、阴影、反光、褶皱、形变、模糊、多语言、低像素、光照不均等复杂场景,合合信息智能文字识别产品均有较高的识别准确率,字符准确率分别为99.21%和99.59%,字段准确率分别为97.87%和98.42%。

测试结果还显示,合合信息智能文字识别产品支持超过50种复杂语言的识别,为全球化、多语言背景下的信息智能识别提供了技术支撑。现阶段,公司已获得超百项自主知识产权发明专利,为全球超过200个国家和地区的上亿用户提供智能文字识别产品及AI服务。未来,公司将持续关注图像领域新需求、新动态,用“过硬”的AI为行业发展注入安全感。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/5333.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++第五讲

思维导图 续&#xff1a;myString类完善 /* ---------------------------------author&#xff1a;YoungZorncreated on 2023/7/19 19:20.--------------------------------- */ #include<iostream> #include<cstring>using namespace std;class myString { priva…

社区发现相关算法

目录 **社区检测与聚类****社区检测技术**1. Louvain 社区检测[2]2. Surprise社区检测[3]3. 莱顿社区检测[4]4. Walktrap 社区检测[5] 结论5.LPA 标签传播6.K-L算法7.GN算法8.Newman快速算法 SlashBurn: Graph Compression and Mining beyond Caveman CommunitiesReferences 摘…

WebSocket笔记

1. websocket介绍 WebSocket 是基于 TCP 的一种新的网络协议。它实现了浏览器与服务器全双工通信——浏览器和服务器只需要完成一次握手&#xff0c;两者之间就可以创建持久性的连接&#xff0c; 并进行双向数据传输。 HTTP协议和WebSocket协议对比&#xff1a; HTTP是短连接W…

【EXCEL】通过url获取网页表格数据

目录 0.环境 1.背景 2.具体操作 0.环境 windows excel2021 1.背景 之前我用python的flask框架的爬虫爬取过豆瓣网的电影信息&#xff0c;没想到excel可以直接通过url去获取网页表格内的信息&#xff0c;比如下图这是电影信息界面 即将上映电影 (douban.com) 通过excel操作&…

商品信息管理-亿发商品进销存管理系统,批发行业零售门店免费试用

众所周知&#xff0c;批发零售行业面临着商品品类繁多、品牌众多、商品信息量庞大等挑战。同时&#xff0c;商品售价波动频繁&#xff0c;还需要管理商品批次&#xff0c;避免积压过期。针对这些传统批发零售行业的管理难题&#xff0c;加快行业数字化转型成为解决之道&#xf…

不同局域网下使用Python自带HTTP服务进行文件共享「端口映射」

文章目录 1. 前言2. 视频教程3. 本地文件服务器搭建3.1 python的安装和设置3.2 cpolar的安装和注册 4. 本地文件服务器的发布4.1 Cpolar云端设置4.2 Cpolar本地设置 5. 公网访问测试6. 结语 1. 前言 数据共享作为和连接作为互联网的基础应用&#xff0c;不仅在商业和办公场景有…

目标检测——FasterRCNN原理与实现

目录 网络工作流程数据加载模型加载模型预测过程RPN获取候选区域FastRCNN进行目标检测 模型结构详解backboneRPN网络anchorsRPN分类RPN回归Proposal层 ROIPooling目标分类与回归 FasterRCNN的训练RPN网络的训练正负样本标记RPN网络的损失函数训练过程实现正负样本设置损失函数 …

Apache Doris (三十):Doris 数据导入(八)Spark Load 3- 导入HDFS数据

目录 1. 准备HDFS数据 2. 创建Doris表 3. 创建Spark Load导入任务 4. 查看导入任务状态 进入正文之前&#xff0c;欢迎订阅专题、对博文点赞、评论、收藏&#xff0c;关注IT贫道&#xff0c;获取高质量博客内容&#xff01; 宝子们订阅、点赞、收藏不迷路&#xff01;抓紧…

echarts实现渐变折线图并添加点击事件

折线图点击事件代码: let myChart = this.$echarts.init(document.getElementById(trendBoxECharts))myChart.getZr().on(click, params => {console.log(params)let pointInPixel = [params.offsetX, params.offsetY]if (myChart.containPixel(grid, pointInPixel)) {//点…

【JAVA】云HIS系统功能菜单知识(一)

一、云HIS特色 云HIS滚动消息栏&#xff1a;质控消息、住院时长、药库结转、患者入院、医嘱停止、新开医嘱、门诊用药不良、出院审核、药品调拨、排班提醒、药品库存、药品过期、药品临期等帮助医生、护士和相关管理人员实时接收院内消息并作出处理。 二、云HIS功能菜单 【预约…

8、gateway使用和原理

一、什么是Spring Cloud Gateway 1、网关简介 网关作为流量的入口&#xff0c;常用的功能包括路由转发&#xff0c;权限校验&#xff0c;限流等。 2、Gateway简介 Spring Cloud Gateway 是Spring Cloud官方推出的第二代网关框架&#xff0c;定位于取代 Netflix Zuul。相比 …

省电液晶驱动IC,VK2C22G,COG片高抗干扰抗噪系列LCD段码驱动芯片,I2C通信接口

型号:VK2C22G DICE(邦定COB)/COG&#xff08;绑定玻璃用&#xff09; VK2C22G概述&#xff1a; VK2C22G是一个点阵式存储映射的LCD驱动器&#xff0c;可支持最大176点&#xff08;44SEGx4COM&#xff09;的LCD屏。单片机可通过I2C接口配置显示参数和读写显示数据&#…

计算机网络 day7 扫描IP脚本 - 路由器 - ping某网址的过程

目录 network 和 NetworkManager关系&#xff1a; 实验&#xff1a;编写一个扫描脚本&#xff0c;知道本局域网里哪些ip在使用&#xff0c;哪些没有使用&#xff1f; 使用的ip对应的mac地址都要显示出来 计算机程序执行的两种不同方式&#xff1a; shell语言编写扫描脚本 …

C# 通过枚举类型字符串,反射到枚举上

C# 通过枚举类型字符串&#xff0c;反射到枚举上 通过类型字符串&#xff0c;反射出任意类型枚举类型通过反射调用枚举GetTypeByName(EnumName) 为空&#xff1f; 小结 通过类型字符串&#xff0c;反射出任意类型 之前老顾写过一篇博客&#xff0c;通过反射&#xff0c;使用字…

IDEA+java+spring+hibernate+jquery+mysql后台管理系统

IDEA javaspringhibernatejquerymysql后台管理系统 一、系统介绍1.环境配置 二、系统展示1. 管理员登录2.修改密码3.我的内容4.我的操作日志5. 我的登陆日志6. 我的登陆授权7. 内容管理8.标签管理9. 搜索词管理10.分类管理11.分类类型12.标签分类13.用户管理14.部门管理15.角色…

Linux系统编程(信号处理机制)

文章目录 前言一、中断&#xff0c;异常&#xff0c;信号的区别二、信号在Linux中的标识三、信号处理相关函数四、代码实验总结 前言 本篇文章我们来讲解信号的处理机制&#xff0c;信号处理在Linux操作系统中必不可少&#xff0c;这一点值得大家注意&#xff0c;信号又会与中…

golang 日志库zap和日志切割实践

介绍 在许多Go语言项目中&#xff0c;我们需要一个好的日志记录器能够提供下面这些功能&#xff1a; 能够将事件记录到文件中&#xff0c;而不是应用程序控制台。 日志切割-能够根据文件大小、时间或间隔等来切割日志文件。 支持不同的日志级别。例如INFO&#xff0c;DEBUG&a…

深度学习与神经网络

人工智能&#xff0c;机器学习&#xff0c;深度学习&#xff0c;神经网络&#xff0c;emmmm&#xff0c;傻傻分不清楚&#xff0c;这都啥呀&#xff0c;你知道吗&#xff1f;我不知道。你知道吗&#xff1f;我不知道。 来来来&#xff0c;接下来&#xff0c;整硬菜&#xff1a…

『红外图像 数据增强』DDE(Digital Detail Enhancement)算法

DDE处理的细节 分离背景层和细节层&#xff1a;使用特殊的滤波器&#xff0c;将图像分成背景层和细节层。背景层通常包含低频信息&#xff0c;而细节层包含高频信息。 对背景层进行灰度增强&#xff1a;通过对背景层应用适当的灰度增强算法&#xff0c;提高背景层的对比度和视…

轻量级应用服务器开放端口

关于使用浏览器连接自己所写的TCP进程时&#xff0c;由于没有开放端口&#xff0c;而且搜索到对应的操作来进行开放端口&#xff0c;所以在完成开放端口后特意做个笔记&#xff0c;防止忘记。 登录自己所使用的服务器的网站找到控制台 找到轻量级应用服务器 找到所需要开放端口…