中国计算机学会计算机视觉专委会携手合合信息举办企业交流活动,为AI安全治理打开“新思路”

近期,《咬文嚼字》杂志发布了2024年度十大流行语,智能向善位列其中,过去一年时间里,深度伪造、AI诈骗等话题屡次登上热搜,AI技术“野蛮生长”引发公众担忧。今年9月,全国网络安全标准化技术委员会发布了《人工智能安全治理框架》,指出人工智能既面临自身技术缺陷、不足带来的内生风险,也面临不当使用、滥用甚至恶意利用带来的外部风险。

为探寻AI安全治理道路,近期由中国计算机学会计算机视觉专委会主办,合合信息承办,中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛(简称论坛)顺利举行。论坛特邀来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们,从立法、监管、前沿研究、技术实践等多个维度分享AI安全领域的最新进展,助力AI向善发展。

图说:《打造大模型时代的可信AI》分享嘉宾合影
图说:中国计算机学会计算机视觉专委会副秘书长潘金山博士致辞

AI安全治理框架:技术手段与规范管理并行

随着以 ChatGPT 为代表的AI大语言模型技术飞速发展,关于数据安全、知识产权、算法偏见和有害内容生成等大语言模型的内容安全问题引发了社会关注。安全是个抽象概念,安全对齐的过程是一个从抽象到具体的模拟过程。”论坛上,上海交通大学人工智能研究院教授、总工程师金耀辉围绕大模型训练过程,提出了“训练对齐、提示引导和文本过滤”三大安全保障手段,助力抽象的安全概念落实到具体的技术研发流程中。

图说:上海交通大学人工智能研究院教授、总工程师金耀辉进行《智能共生时代:平衡生成式AI的创新与风险》主题分享

规范标准是AI健康生长的外部力量。中国电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲认为,人工智能安全检测目前还主要停留在内容安全层面,检测方法比较单一。他将人工智能安全检测评估划分为算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全、科技伦理安全六方面,形成综合评估框架,为标准引领技术发展方向提供可行性参考。

图说:电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲进行《人工智能安全检测评估的逻辑和要点》主题分享

技术实践:“看不见”的AI让伪造痕迹被看见

12月10日,Open AI正式向用户开放AI视频生成模型Sora。以Sora为代表的AI工具在给图像视频行业带来革新的同时,也引发了合成图像伪造风险。中国科学技术大学教授、国家杰青谢洪涛以特定人物深度伪造视频为研究对象,从主动防御和被动检测两个视角分享了具体治理方案。

谢洪涛提到,主动防御用于在视频生成或传播过程中加入前置保护措施,例如采用双重水印技术,给人脸图像加上“看不见”的鲁棒性水印与半脆弱性水印,方便后续取证;被动检测包括图像级不一致性和时空身份不一致性检测技术,用于在视频传播或使用后评估其真实性。

除了视频外,图像作为常见的数字内容资料形式,更容易被不法分子进行局部或全域生成式篡改。合合信息图像算法研发总监郭丰俊表示,合合信息技术团队基于数据驱动的神经网络模型,推出了行业领先水平的图像篡改检测方案,可提取篡改留下的细微痕迹,检测出多种篡改形式,在近年的2次国际性技术竞赛中获得冠军。当前文档类图像篡改检测仍然面临诸多挑战,如跨域泛化检测性能低下,纯色背景篡改检测准确率较低,压缩、传输等动作导致图像质量退化,致使检测性能下降等系列问题。大模型技术的出现为AI视觉安全的发展创造了新的可能,也为应对检测泛化能力和抗攻击能力的挑战提供了契机。

图说:合合信息图像算法研发总监郭丰俊进行《视觉内容安全技术的前沿进展与应用》主题分享

人工智能鉴别与合成技术相互博弈,密不可分。中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然博士从深度合成技术出发,详细分析了虚拟身份、身份重演和人脸驱动三种合成技术类型。他表示,深度合成技术的深入研究为鉴别提供了线索,例如模型指纹线索、图像拼接线索和时序闪烁线索等,形成多模态多线索的鉴伪方法,并有针对性地提出了图像鉴别方案,包括基于空频域信息和提示学习结合的伪造鉴别方法、基于transformer的视频鉴别方法等。

图说:中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然进行《生成式人工智能安全与治理》主题分享

生成式人工智能发展日新月异,技术革新与安全治理缺一不可,面对AI的潜在风险,加强行业内部自律,从源头做好安全措施是守护AI健康成长的第一道防线。本次活动是产学研联合探索AI安全治理的一次有效尝试。未来,合合信息会持续深耕AI视觉安全领域,积极推动行业合作与交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/64006.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【系统思辨】两难与虚假两难

怎么做都不好 前面有两条路,做事情有两种方法,也就是说有两种可能的选择,无论哪一种选择,都有利有弊,让人们处于进退维谷的困境。这类问题的特征就是,无论你的决定是什么,都会失去另一半&#…

详解多租户架构下的资源隔离模式

文章目录 0.简介1.多租户概念1.1 基本概念1.2 单租户 vs 多租户 2.实现方案2.1 独立数据库方案2.1.1 优点2.1.2 缺点2.1.3 应用场景 2.2 共享数据库,独立 Schema2.2.1 优点2.2.2 缺点2.2.3 应用场景 2.3 共享数据库、共享Schema、共享表2.3.1 优点2.3.2 缺点2.3.3 应…

SMMU软件指南SMMU编程之寄存器

安全之安全(security)博客目录导读 本博客介绍了SMMUv3的编程接口: • SMMU寄存器 • 流表(Stream table) • CD(Context Descriptor) • 事件队列(Event queue) • 命令队列(…

分布式 窗口算法 总结

前言 相关系列 《分布式 & 目录》《分布式 & 窗口算法 & 总结》《分布式 & 窗口算法 & 问题》 参考文献 《【算法】令牌桶算法》 固定窗口算法 简介 固定窗口算法是最简单的流量控制算法。固定窗口算法的核心原理是将系统的生命周期划分为一个个…

SEC_ASA 第二天作业

拓扑 按照拓扑图配置 NTP,Server端为 Outside路由器,Client端为 ASA,两个设备的 NTP传输使用MD5做校验。(安全 V4 LAB考点) 提示:Outside路由器作为 Server端要配置好正确的时间和时区,ASA防…

JAVA实战:借助阿里云实现短信发送功能

亲爱的小伙伴们😘,在求知的漫漫旅途中,若你对深度学习的奥秘、JAVA 、PYTHON与SAP 的奇妙世界,亦或是读研论文的撰写攻略有所探寻🧐,那不妨给我一个小小的关注吧🥰。我会精心筹备,在…

【电力负荷预测实例】采用新英格兰2024年最新电力负荷数据的XGBoost电力负荷预测模型

与小编上篇文章介绍的基于BPNN神经网络的电力负荷预测相比较,两种模型的负荷预测方法各有优势,神经网络能够自动提取特征并处理非线性关系,而XGBoost则具有预测精度高、运行速率快和可解释性强的特点。在实际应用中,可以根据具体需…

数据库数据恢复—ORACLE常见故障有哪些?如何恢复数据?

Oracle数据库常见故障表现: 1、ORACLE数据库无法启动或无法正常工作。 2、ORACLE ASM存储破坏。 3、ORACLE数据文件丢失。 4、ORACLE数据文件部分损坏。 5、ORACLE DUMP文件损坏。 Oracle数据库数据恢复方案: 1、检测存放数据库的服务器/存储设备是否存…

题目 3000: 交换值

题目 3000: 交换值 时间限制: 2s 内存限制: 192MB 提交: 5409 解决: 3331 题目描述 输入两个正整数a和b,试交换a、b的值(使a的值等于b,b的值等于a)。 输入格式 输入两个正整数a和b。 输出格式 输出a与b交换值后的结果。 样例输入 …

ArcGIS MultiPatch数据转换Obj数据

文章目录 ArcGIS MultiPatch数据转换Obj数据1 效果2 技术路线2.1 Multipatch To Collada2.2 Collada To Obj3 代码实现4 附录4.1 环境4.2 一些坑ArcGIS MultiPatch数据转换Obj数据 1 效果 2 技术路线 MultiPatch --MultipatchToCollada–> Collada --Assimp–> Obj 2.…

简单vue3前端打包部署到服务器,动态配置http请求头后端ip方法教程

vue3若依框架前端打包部署到服务器,需要部署到多个服务器上,每次打包会很麻烦,今天教大家一个动态配置请求头api的方法,部署后能动态获取(修改)对应服务器的请求ip 介绍两种方法,如有需要可以直接尝试步骤一&#xff…

【笔记】记录对python中.grad()的一些理解

这几天再看神经网络,有点不明白.grad()、.detach()、.backward()等等等等这些关于梯度计算的东西,今天好像理解了一点,来做一个自己理解的总结。 首先来看一段非常简单的代码: import torchX torch.tensor([1.0, 2.0, 3.0], re…

vue3-count-to实现数字动态增长效果

vue3-count-to 是一个用于 Vue 3的数字计数动画库,常用于在页面上实现数字的动态增长效果,类似于从某个起始值渐变到目标值的效果。它可以用来显示各种数字、统计数据或展示动画效果。 1 安装 vue3-count-to 首先,你需要安装 vue3-count-to …

android AIDL ipc binder转换

一. 概述 众所周知AIDL并不是所有的数据类型都可以传输。 可以传输的类型包括: 1.原生类型 2.String 3. CharSequence 4. List 5.Map 6. Binder 7. Parcelable 容器类 parcelable传输的时候会分解成成员,数组item的方式,传输完成后再进行…

CityEngine实践——常用cga文件解析系列(2)

上回书说到了: 3、RULES/COMPONENTS/MASSING/SUBURBAN_BLOCK DETACHED_HOUSES.CGA ROWHOUSES.CGA SEMI_DETACHED_HOUSES.CGA 4、RULES/COMPONENTS/MASSING/URBAN_BLOCK MONOBLOCK.CGA PERIMETER_8_SHAPE.CGA PERIMETER_MULTIPART.CGA 这个cga挺有意思&#xff0c…

贪心算法 - 学习笔记 【C++】

2024-12-09 - 第 38 篇 贪心算法 - 学习笔记 作者(Author): 郑龙浩 / 仟濹(CSND账号名) 贪心算法 学习课程: https://www.bilibili.com/video/BV1f84y1i7mv/?spm_id_from333.337.search-card.all.click&vd_source2683707f584c21c57616cc6ce8454e2b 一、基本…

【安全研究】某黑产网站后台滲透与逆向分析

文章目录 x01. 前言x02. 分析 【🏠作者主页】:吴秋霖 【💼作者介绍】:擅长爬虫与JS加密逆向分析!Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python与爬虫领域研究与…

ESP32外设学习部分--SPI篇

SPI学习 前言 我个人以为开始学习一个新的单片机最好的方法就是先把他各个外设给跑一遍,整体了解一下他的功能,由此记录一下我学习ESP32外设的过程,防止以后忘记。 SPI 配置步骤 SPI总线初始化 spi_bus_config_t buscfg {.miso_io_num …

Viewer.js----图片查看

Viewer.js 是一个用于展示图片、视频等多媒体内容的轻量级 JavaScript 库,提供了现代的图片查看器功能,比如放大、缩小、旋转、拖动等操作,适用于浏览器中查看图片等资源。 官网地址:Viewer.js 详细说明:Viewer.js –…

禅道Bug的一次迁移

一、场景 平时工作记录在公司禅道上的问题想备份一份到本地,但是又没有公司禅道的数据库信息,有时候出测试报告想批量调整数据方便截图很困难,同时也为了学习禅道数据流转过程,所以有了把缺陷保存到本地一份的想法。 实际上禅道支…