OpenAI、微软、智谱AI 等全球 16 家公司共同签署前沿人工智能安全承诺

人工智能(AI)的安全问题,正以前所未有的关注度在全球范围内被讨论。

日前,OpenAI 联合创始人、首席科学家 Ilya Sutskever 与 OpenAI 超级对齐团队共同领导人 Jan Leike 相继离开 OpenAI,Leike 甚至在 X 发布了一系列帖子,称 OpenAI 及其领导层忽视安全而偏爱光鲜亮丽的产品。这在业界引起了广泛关注,在一定程度上凸显了当前 AI 安全问题的严峻性

5 月 21 日,图灵奖得主 Yoshua Bengio、Geoffrey Hinton 和姚期智联合国内外数十位业内专家和学者,在权威科学期刊 Science 上刊文,呼吁世界各国领导人针对 AI 风险采取更有力的行动,并警告说,“近六个月所取得的进展还不够”

图片

他们认为,AI 的无节制发展很有可能最终导致生命和生物圈的大规模损失,以及人类的边缘化或灭绝。(点击查看详情)

在他们看来,AI 模型的安全问题,已经上升到足够威胁人类未来生存的水平。

同样,AI 模型的安全问题,也已经是可以影响每一个人、每一个人都有必要关心的话题。

**5 月 22 日,注定是人工智能史上的一个重大时刻:**OpenAI、谷歌、微软和智谱AI 等来自不同国家和地区的公司共同签署了前沿人工智能安全承诺(Frontier AI Safety Commitments);欧盟理事会正式批准了《人工智能法案》(AI Act),全球首部 AI 全面监管法规即将生效。

再一次,AI 的安全问题在政策层面被提及。

人工智能首尔峰会“宣言”

在以“安全、创新、包容”为议题的“人工智能首尔峰会”(AI Seoul Summit)上,来自北美、亚洲、欧洲和中东地区的 16 家公司就 AI 开发的安全承诺达成一致,共同签署了前沿人工智能安全承诺,包括以下要点:

  • 确保前沿 AI 安全的负责任治理结构和透明度;

  • 基于人工智能安全框架,负责任地说明将如何衡量前沿 AI 模型的风险;

  • 建立前沿 AI 安全模型风险缓解机制的明确流程。

图灵奖得主 Yoshua Bengio 认为,前沿人工智能安全承诺的签署“标志着在建立国际治理制度以促进人工智能安全方面迈出了重要一步”。

作为来自中国的大模型公司,智谱 AI 也签署了这一新的前沿人工智能安全承诺,完整签署方名单如下:

图片

对此,OpenAI 全球事务副总裁 Anna Makanju 表示,“前沿人工智能安全承诺是促进更广泛地实施先进 AI 系统安全实践的重要一步。” Google DeepMind 总法律顾问兼治理主管 Tom Lue 说道,“这些承诺将有助于在领先开发者之间建立重要的前沿 AI 安全最佳实践。” 智谱AI 首席执行官张鹏表示,“伴随着先进技术而来的是确保 AI 安全的重要责任。”

日前,智谱AI 也受邀亮相 AI 顶会 ICLR 2024,并在题为“The ChatGLM’s Road to AGI”的主旨演讲中分享了他们针对 AI 安全的具体做法。

他们认为,超级对齐(Superalignment)技术将协助提升大模型的安全性,并已经启动了类似 OpenAI 的 Superalignment 计划,希望让机器学会自己学习、自己判断,从而实现学习安全的内容。

图片

他们透露,GLM-4V 即内置了这些安全措施,以防止产生有害或不道德的行为,同时保护用户隐私和数据安全;而 GLM-4 的后续升级版本即 GLM-4.5 及其升级模型,也应当基于超级智能(Superintelligence)和超级对齐技术。

我们也发现,在一篇近期发表的论文中,智谱AI、清华团队介绍了一种通过利用大量自生成的否定词而实现的无反馈(feedback-free)大型语言模型对齐方法——Self-Contrast。

据论文描述,在只有监督微调(SFT)目标的情况下,Self-Contrast 就可以利用 LLM 本身生成大量不同的候选词,并利用预先训练的嵌入模型根据文本相似性过滤多个否定词。

图片

论文链接:https://arxiv.org/abs/2404.00604

在三个数据集上进行的直接偏好优化(DPO)实验表明,Self-Contrast 可以持续大幅超越 SFT 和标准 DPO 训练。而且,随着自生成的负样本数量增加,Self-Contrast 的表现也在不断提高。

图片

总的来说,这一研究为偏好数据缺失情况下的对齐(如 RLHF 方法)提供了一种新的方法。在偏好数据标注代价昂贵且难以获得的情况下,可以利用未标注的 SFT 数据构建语法偏好数据,通过增加负样本的数量来弥补因正样本不足造成的性能损失。

欧盟理事会正式批准《人工智能法案》

同日,欧盟理事会也于同日正式批准了《人工智能法案》(AI Act),这是全球首部 AI 全面监管法规,这一具有里程碑意义的人工智能法规将于下月生效,目前仅适用于欧盟法律范围内的领域,或将为商业和日常生活中使用的技术设定一个潜在的全球基准。

“这部具有里程碑意义的法规是世界上第一部此类法规,它解决了一个全球性的技术挑战,同时也为我们的社会和经济创造了机遇,” 比利时数字化大臣 Mathieu Michel 在一份声明中说。

这一综合性的 AI 立法采用“基于风险”的方法,意味着对社会造成伤害的风险越高,规则就越严格。例如,不构成系统性风险的通用目的 AI 模型将承担一些有限的要求,但那些具有系统性风险的则需要遵守更严格的规定。

对违反《人工智能法案》中行为的罚款,该法案设定为违规公司前一个财年全球年营业额的百分比或预定的金额,以较高者为准。

如今,无论是小到科技公司,还是大到政府机构,都已经将预防、解决 AI 安全问题提上日程。正如牛津大学工程科学系教授 Philip Torr 所言:

“在上一次人工智能峰会上,全世界一致认为我们需要采取行动,但现在是时候从模糊的建议转变为具体的承诺了。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/13630.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

webpack5零基础入门-15样式兼容性问题处理

1.下载相关依赖 npm i postcss-loader postcss postcss-preset-env -D 2.在webpack.config.js中配置 注意:postcss-loader要在css-loader后面配置 3.写一个flex布局,flex是存在一定的兼容性问题的 4.打包 可以看到打包后未被处理 1.下载相关依赖 np…

MySQL 查询某个字段含有字母数字的值

在数据库管理中,常常需要查询某个字段包含特定类型数据的记录。本文将详细介绍如何在 MySQL 中查询某个字段含有字母和数字的值,并提供至少五个具体示例,帮助您更好地理解和应用这些查询方法。 1. 概述 在 MySQL 中,使用正则表达…

YOLOv8绘制map曲线图

yolov8源码绘制的map曲线图不够清晰,python代码绘制的曲线图导入word之后清晰度也不够高,所以选择使用matlab来绘制曲线图,matlab可以直接复制图窗到word中,在转换成pdf也不会失真。点击编辑,复制图窗即可复制到word中…

MySQL + JPA 动态条件查询

maven 依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-jpa</artifactId><version>2.3.12.RELEASE</version> </dependency>实体类 package cn.xxx.xxx.project.dal.my…

Aspect打印接口请求信息和返回内容

文章目录 引言I 打印请求信息II 方法参数反序列化异常解决方案1解决方案2引言 2024-05-18 13:43:19.358 [http-nio-5050-exec-1] [58497D6655] INFO - 请求url : http://192.168.20.xx:xxx/userAdmin/login 2024-05-18 13:43:19.358 [http-nio-5050-exec-1]

C - Sigma Problem(AtCoder Beginner Contest 353)

题目的链接: C - Sigma Problem (atcoder.jp) 题目&#xff1a; 样例&#xff1a; 题目大致含意: 给你n个数&#xff0c;让你对这n个数进行操作&#xff0c;比如当前是第i个&#xff0c;那么让a[i] 和 后面的每个数进行相加, 例如a[i] a[i 1] 注意的是a[i] a[i 1]的结果…

linux的用户管理

新建用户&#xff1a;1.useradd 2.passwd 完成的操作&#xff1a; (1)/etc/passwd添加一行 (2)/etc/shadow添加一行 (3)/etc/group添加一行 (4)创建用户家目录 (5)创建用户邮件文件 例&#xff1a;创建用户jerry&#xff0c;要求: uid:777&am…

20240522每日后端---------如何回答面试官的问题

问题 通常面试官会抛出一个问题&#xff0c;比如redis的雪崩&#xff0c;mysql的索引&#xff0c;spring的bean生命周期等等。 一般我们面试时候&#xff0c;当听到面试官问问题&#xff0c;下意识的就会在脑海中搜索答案&#xff0c;但是实际上这是不正确的做法&#xff0c;我…

【git】开发提交规范(feat、fix、perf)

这段时间收到的需求很多&#xff0c;可能是临近两周一次的大版本灰度上线&#xff0c;这次产生了一个关于git的思考&#xff0c;就是各个版本之间怎么管理的问题&#xff0c;这里做出我自己的一些方法。 首先&#xff0c;既然已经明确了remote分支中的release分支为主分支&…

多线程讲解(详解)

目录 什么是多线程&#xff1f; 为什么要使用多线程&#xff1f; 线程的创建 使用Thread实现 从以上代码我们梳理一下多线程创建步骤&#xff1a; 注意&#xff1a; 小示例 首先&#xff0c;引入依赖 然后&#xff0c;按照我们刚刚说的构建多线程的步骤进行构建&#…

Arthas,应用诊断利器!【送源码】

Arthas 是一款线上监控诊断产品&#xff0c;通过全局视角实时查看应用 load、内存、gc、线程的状态信息&#xff0c;并能在不修改应用代码的情况下&#xff0c;对业务问题进行诊断&#xff0c;包括查看方法调用的出入参、异常&#xff0c;监测方法执行耗时&#xff0c;类加载信…

Model-Based Pose Estimation for Rigid Objects(基于SIFT)

6D目标检测工程落地需求的小算力算法&#xff0c;本文具有借鉴意义&#xff0c;但对于特征点少的目标不太好用。 摘要 在多个实际应用中&#xff0c;经常会遇到确定图像中出现的物体姿态的问题。处理这一挑战的最有效策略是按照基于模型的范式进行&#xff0c;这涉及构建物体…

Qt快速入门到熟练(电子相册项目(一))

经过一段时间的学习&#xff0c;相信大家对QT的基本用法都有所了解&#xff0c;从这篇文章开始&#xff0c;我准备记录一下电子相册的项目的一个学习过程。 实现项目创建功能 对于这个电子相册的项目&#xff0c;我并没有在一开始就把所有可能用到的功能模块去事无巨细的考虑周…

通过域名接口申请免费的ssl多域名证书

来此加密已顺利接入阿里云的域名接口&#xff0c;用户只需一键调用&#xff0c;便可轻松完成域名验证&#xff0c;从而更高效地申请证书。接下来&#xff0c;让我们详细解读一下整个操作过程。 来此加密官网 免费申请SSL证书 免费SSL多域名证书&#xff0c;泛域名证书。 首先&a…

Intellij IDEA创建springboot项目

1、点击 Create New Project 2、选择 Spring Initializr —> 点击下一步 3、备注&#xff1a; Artifact为项目名称 group为项目组名 language设置为java packaging为打包方式 3、选择相应的依赖&#xff0c;也可以自己导入&#xff0c;在Developer Tools 、Web 、SQL 中选…

开箱即用,简单上手体验LobeChat搭建私人ChatGPT

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

【LeetCode算法】第69题:x的平方根

目录 一、题目描述 二、初次解答 三、官方解法 四、总结 一、题目描述 二、初次解答 1. 思路&#xff1a;第一次想到的是让i从1开始遍历&#xff0c;看i*ix是否成立&#xff0c;但是这样就会导致i*i超出了int的范围&#xff0c;无法正常求解。第二次&#xff0c;想着比较x/…

H800基础能力测试

H800基础能力测试 参考链接A100、A800、H100、H800差异H100详细规格H100 TensorCore FP16 理论算力计算公式锁频安装依赖pytorch FP16算力测试cublas FP16算力测试运行cuda-samples 本文记录了H800基础测试步骤及测试结果 参考链接 NVIDIA H100 Tensor Core GPU Architecture…

2024.5.23 作业 xyt

今日课堂内容&#xff1a;超时检测 数据库 select函数 #include <myhead.h> int main(int argc, const char *argv[]) {//1、定义检测容器fd_set readfds;//2、清空内容FD_ZERO(&readfds);//3、将文件描述符放入集合中FD_SET(0, &readfds);//4、定义超时时间变…

【传知代码】从零开始搭建图像去雾神经网络-论文复现

文章目录 概述原理介绍网络结构 核心逻辑迁移学习子网数据拟合子网 环境配置训练本次复现代码所用数据集测试本次复现代码所用的评价指标 结果展示在O-Haze数据集上的结果在I-Haze数据集上的结果 小结 本文涉及的源码可从从零开始搭建图像去雾神经网络该文章下方附件获取 本文复…