中国计算机学会计算机视觉专委会携手合合信息举办企业交流活动,为AI安全治理打开“新思路”

近期,《咬文嚼字》杂志发布了2024年度十大流行语,智能向善位列其中,过去一年时间里,深度伪造、AI诈骗等话题屡次登上热搜,AI技术“野蛮生长”引发公众担忧。今年9月,全国网络安全标准化技术委员会发布了《人工智能安全治理框架》,指出人工智能既面临自身技术缺陷、不足带来的内生风险,也面临不当使用、滥用甚至恶意利用带来的外部风险。

为探寻AI安全治理道路,近期由中国计算机学会计算机视觉专委会主办,合合信息承办,中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛(简称论坛)顺利举行。论坛特邀来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们,从立法、监管、前沿研究、技术实践等多个维度分享AI安全领域的最新进展,助力AI向善发展。

图说:《打造大模型时代的可信AI》分享嘉宾合影
图说:中国计算机学会计算机视觉专委会副秘书长潘金山博士致辞

AI安全治理框架:技术手段与规范管理并行

随着以 ChatGPT 为代表的AI大语言模型技术飞速发展,关于数据安全、知识产权、算法偏见和有害内容生成等大语言模型的内容安全问题引发了社会关注。安全是个抽象概念,安全对齐的过程是一个从抽象到具体的模拟过程。”论坛上,上海交通大学人工智能研究院教授、总工程师金耀辉围绕大模型训练过程,提出了“训练对齐、提示引导和文本过滤”三大安全保障手段,助力抽象的安全概念落实到具体的技术研发流程中。

图说:上海交通大学人工智能研究院教授、总工程师金耀辉进行《智能共生时代:平衡生成式AI的创新与风险》主题分享

规范标准是AI健康生长的外部力量。中国电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲认为,人工智能安全检测目前还主要停留在内容安全层面,检测方法比较单一。他将人工智能安全检测评估划分为算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全、科技伦理安全六方面,形成综合评估框架,为标准引领技术发展方向提供可行性参考。

图说:电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲进行《人工智能安全检测评估的逻辑和要点》主题分享

技术实践:“看不见”的AI让伪造痕迹被看见

12月10日,Open AI正式向用户开放AI视频生成模型Sora。以Sora为代表的AI工具在给图像视频行业带来革新的同时,也引发了合成图像伪造风险。中国科学技术大学教授、国家杰青谢洪涛以特定人物深度伪造视频为研究对象,从主动防御和被动检测两个视角分享了具体治理方案。

谢洪涛提到,主动防御用于在视频生成或传播过程中加入前置保护措施,例如采用双重水印技术,给人脸图像加上“看不见”的鲁棒性水印与半脆弱性水印,方便后续取证;被动检测包括图像级不一致性和时空身份不一致性检测技术,用于在视频传播或使用后评估其真实性。

除了视频外,图像作为常见的数字内容资料形式,更容易被不法分子进行局部或全域生成式篡改。合合信息图像算法研发总监郭丰俊表示,合合信息技术团队基于数据驱动的神经网络模型,推出了行业领先水平的图像篡改检测方案,可提取篡改留下的细微痕迹,检测出多种篡改形式,在近年的2次国际性技术竞赛中获得冠军。当前文档类图像篡改检测仍然面临诸多挑战,如跨域泛化检测性能低下,纯色背景篡改检测准确率较低,压缩、传输等动作导致图像质量退化,致使检测性能下降等系列问题。大模型技术的出现为AI视觉安全的发展创造了新的可能,也为应对检测泛化能力和抗攻击能力的挑战提供了契机。

图说:合合信息图像算法研发总监郭丰俊进行《视觉内容安全技术的前沿进展与应用》主题分享

人工智能鉴别与合成技术相互博弈,密不可分。中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然博士从深度合成技术出发,详细分析了虚拟身份、身份重演和人脸驱动三种合成技术类型。他表示,深度合成技术的深入研究为鉴别提供了线索,例如模型指纹线索、图像拼接线索和时序闪烁线索等,形成多模态多线索的鉴伪方法,并有针对性地提出了图像鉴别方案,包括基于空频域信息和提示学习结合的伪造鉴别方法、基于transformer的视频鉴别方法等。

图说:中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然进行《生成式人工智能安全与治理》主题分享

生成式人工智能发展日新月异,技术革新与安全治理缺一不可,面对AI的潜在风险,加强行业内部自律,从源头做好安全措施是守护AI健康成长的第一道防线。本次活动是产学研联合探索AI安全治理的一次有效尝试。未来,合合信息会持续深耕AI视觉安全领域,积极推动行业合作与交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/64006.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

详解多租户架构下的资源隔离模式

文章目录 0.简介1.多租户概念1.1 基本概念1.2 单租户 vs 多租户 2.实现方案2.1 独立数据库方案2.1.1 优点2.1.2 缺点2.1.3 应用场景 2.2 共享数据库,独立 Schema2.2.1 优点2.2.2 缺点2.2.3 应用场景 2.3 共享数据库、共享Schema、共享表2.3.1 优点2.3.2 缺点2.3.3 应…

SMMU软件指南SMMU编程之寄存器

安全之安全(security)博客目录导读 本博客介绍了SMMUv3的编程接口: • SMMU寄存器 • 流表(Stream table) • CD(Context Descriptor) • 事件队列(Event queue) • 命令队列(…

分布式 窗口算法 总结

前言 相关系列 《分布式 & 目录》《分布式 & 窗口算法 & 总结》《分布式 & 窗口算法 & 问题》 参考文献 《【算法】令牌桶算法》 固定窗口算法 简介 固定窗口算法是最简单的流量控制算法。固定窗口算法的核心原理是将系统的生命周期划分为一个个…

SEC_ASA 第二天作业

拓扑 按照拓扑图配置 NTP,Server端为 Outside路由器,Client端为 ASA,两个设备的 NTP传输使用MD5做校验。(安全 V4 LAB考点) 提示:Outside路由器作为 Server端要配置好正确的时间和时区,ASA防…

【电力负荷预测实例】采用新英格兰2024年最新电力负荷数据的XGBoost电力负荷预测模型

与小编上篇文章介绍的基于BPNN神经网络的电力负荷预测相比较,两种模型的负荷预测方法各有优势,神经网络能够自动提取特征并处理非线性关系,而XGBoost则具有预测精度高、运行速率快和可解释性强的特点。在实际应用中,可以根据具体需…

数据库数据恢复—ORACLE常见故障有哪些?如何恢复数据?

Oracle数据库常见故障表现: 1、ORACLE数据库无法启动或无法正常工作。 2、ORACLE ASM存储破坏。 3、ORACLE数据文件丢失。 4、ORACLE数据文件部分损坏。 5、ORACLE DUMP文件损坏。 Oracle数据库数据恢复方案: 1、检测存放数据库的服务器/存储设备是否存…

ArcGIS MultiPatch数据转换Obj数据

文章目录 ArcGIS MultiPatch数据转换Obj数据1 效果2 技术路线2.1 Multipatch To Collada2.2 Collada To Obj3 代码实现4 附录4.1 环境4.2 一些坑ArcGIS MultiPatch数据转换Obj数据 1 效果 2 技术路线 MultiPatch --MultipatchToCollada–> Collada --Assimp–> Obj 2.…

简单vue3前端打包部署到服务器,动态配置http请求头后端ip方法教程

vue3若依框架前端打包部署到服务器,需要部署到多个服务器上,每次打包会很麻烦,今天教大家一个动态配置请求头api的方法,部署后能动态获取(修改)对应服务器的请求ip 介绍两种方法,如有需要可以直接尝试步骤一&#xff…

vue3-count-to实现数字动态增长效果

vue3-count-to 是一个用于 Vue 3的数字计数动画库,常用于在页面上实现数字的动态增长效果,类似于从某个起始值渐变到目标值的效果。它可以用来显示各种数字、统计数据或展示动画效果。 1 安装 vue3-count-to 首先,你需要安装 vue3-count-to …

android AIDL ipc binder转换

一. 概述 众所周知AIDL并不是所有的数据类型都可以传输。 可以传输的类型包括: 1.原生类型 2.String 3. CharSequence 4. List 5.Map 6. Binder 7. Parcelable 容器类 parcelable传输的时候会分解成成员,数组item的方式,传输完成后再进行…

CityEngine实践——常用cga文件解析系列(2)

上回书说到了: 3、RULES/COMPONENTS/MASSING/SUBURBAN_BLOCK DETACHED_HOUSES.CGA ROWHOUSES.CGA SEMI_DETACHED_HOUSES.CGA 4、RULES/COMPONENTS/MASSING/URBAN_BLOCK MONOBLOCK.CGA PERIMETER_8_SHAPE.CGA PERIMETER_MULTIPART.CGA 这个cga挺有意思&#xff0c…

【安全研究】某黑产网站后台滲透与逆向分析

文章目录 x01. 前言x02. 分析 【🏠作者主页】:吴秋霖 【💼作者介绍】:擅长爬虫与JS加密逆向分析!Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python与爬虫领域研究与…

ESP32外设学习部分--SPI篇

SPI学习 前言 我个人以为开始学习一个新的单片机最好的方法就是先把他各个外设给跑一遍,整体了解一下他的功能,由此记录一下我学习ESP32外设的过程,防止以后忘记。 SPI 配置步骤 SPI总线初始化 spi_bus_config_t buscfg {.miso_io_num …

禅道Bug的一次迁移

一、场景 平时工作记录在公司禅道上的问题想备份一份到本地,但是又没有公司禅道的数据库信息,有时候出测试报告想批量调整数据方便截图很困难,同时也为了学习禅道数据流转过程,所以有了把缺陷保存到本地一份的想法。 实际上禅道支…

Redis - 消息队列 Stream

一、概述 消息队列 定义 消息队列模型:一种分布式系统中的消息传递方案,由消息队列、生产者和消费者组成消息队列:负责存储和管理消息的中间件,也称为消息代理(Message Broker)生产者:负责 产…

C语言数组和字符串笔记

C语言数组和字符串笔记 1. 数组及其相关概念 1.1 为什么需要使用数组? 数组是一个有序的、类型相同的数据集合。这些数据被称为数组的元素。每个数组都有一个名字,数组名代表数组的起始地址。数组的元素通过索引或下标访问,索引从0开始。 …

双目摄像头标定方法

打开matlab 找到这个标定 将双目左右目拍的图像上传(左右目最好不少于20张) 等待即可 此时已经完成标定,左下角为反投影误差,右边为外参可视化 把这些误差大的删除即可。 点击导出 此时回到主页面,即可看到成功导出 Ca…

数据结构开始——时间复杂度和空间复杂度知识点笔记总结

好了,经过了漫长的时间学习c语言语法知识,现在我们到了数据结构的学习。 首先,我们得思考一下 什么是数据结构? 数据结构(Data Structure)是计算机存储、组织数据的方式,指相互之间存在一种或多种特定关系的数据元素…

什么是MMD Maximum Mean Discrepancy 最大均值差异?

9多次在迁移学习看到了,居然还是Bernhard Schlkopf大佬的论文,仔细看看。 一.什么是MMD? 1. MMD要做什么? 判断两个样本(族)是不是来自于同一分布 2.怎么做?(直观上)…

电梯内电动车识别数据集,可准确识别电梯内是否有电动车 支持YOLO,COCO,VOC三种格式的标注 7111张图片

电梯内电动车识别数据集,可识别电梯内是否有电动车 支持YOLO,COCO,VOC三种格式的标注 7111张图片 7111总图像数 数据集分割 训练组 74% 5291图片 有效集 16% 1168图片 测试集 9% 652…