OpenAI神秘项目“Q*”的N个猜想

文章目录

  • “Q*”可能是什么?
  • 何为AI意识的产生?
  • AI应该如何与人类对齐?

上周,OpenAI人事风波暂停的尾声中,有个“可能威胁人类”的、代号为“Q*”的神秘项目被抛掷出来。

传言中,Sam Altman被解雇前,几名研究人员向董事会发了一封信,警告一项强大的人工智能发现可能威胁到人类,而这个项目就被称为“Q*”(Q-star)。它很可能是导致董事会罢免Sam Altman的原因之一。

而在一封被泄露的OpenAI内部信中,他们承认了Q*,并把这个项目描述为“超越人类的自主系统”。

截止目前,OpenAI还没有对“Q*”和内部信泄露事件发表官方说明。这意味着一切仍悬而未解。

但人类的好奇心势不可挡。水面之下的“Q*”可能是什么且解决了哪些难题?什么才是智能或者意识的本质?有效加速主义与超级对齐主义后续会如何博弈?

真正的秘密揭开之前,我们提前和科幻作家陈楸帆以及AI研究者、清华大学交叉信息研究院助理教授许华哲展开了一场猜想之旅。

被誉为“中国的威廉·吉布森”的陈楸帆,其代表作之一《荒潮》曾荣获全球华语科幻星云奖最佳长篇小说金奖。2017年,陈楸帆与自己训练出的算法模型“陈楸帆2.0”共同创作的《出神状态》还赢得一座由AI评委评出的奖杯(由上海作协主办的“AI文学榜”,第二名是莫言的《等待摩西》)。

“Q*”可能是什么?

Q读作Q-Star,翻译过来就是Q星。关于“Q”是什么?现在更常见的一种共识是,它很可能是Q-learning(强化学习的一种) 和a-star(一种搜索方法)的结合。

清华大学交叉信息研究院助理教授许华哲告诉「暗涌Waves」,强化学习刚刚火起来时,很多人对Q-learning很熟悉,因为它是世界上第一个可以玩雅达利游戏(Atari Games)的方式。而人工智能早期,有一种有引导的搜索方法叫做a* 。Q*很可能是两者合体。

但他同时认为,也有一种可能是意味着最优,Q就是最优Q值。“Q-learning 里有一个贝尔曼方程,一般用Q的星号来表示已经知道了游戏最优解是什么。”

他猜测很可能OpenAI在GPT的语言大模型里搞了一些数学或逻辑游戏,然后通过Q* 可以完全解决。这意味着它可能有了人类或超越人类级别的数学和逻辑能力,并能完成一些人类的中高端脑力劳动,而这是之前GPT4等不具备或不擅长的东西。

正在纽约的科幻作家陈楸帆,在越洋电话中,认为Q*很可能解决了训练数据集有限性的问题。

马斯克曾提及,训练AI的所有人类数据集,其实是一个非常有限的、小的数据集。如果Q能够使用合成数据集方式,陈楸帆认为,“它就可以像衔尾蛇那样自产自销”,“想往哪个方向去调参,去优化,都可以自动生成”。

GPT不再用检索解决问题,而是可以像人类一样通过逻辑和推理来开拓出新领域,得到新知识。这被很多人称为"第四次"知识界限突破,陈楸帆认为,这也是很多人恐慌的原因。

许华哲则认为,Q*除了能合成数据,更本质的,可能是对一些有难度的数学题、逻辑题做了重新采集、标注。或在之前基础上,或没有用transformer方式,而是直接输入所有东西再输出,且加了一个值的评估。

他认为,基于类似某种价值评估和搜索的手段,很可能可以解决掉之前大模型存在的一些幻想问题,加上有了更海量的数据,很可能让GPT推理的成功率有了新的提升。

何为AI意识的产生?

如果神秘的Q*项目成真,它是否意味着AI可能开始有自己的意识或者说智慧?

在陈楸帆看来,之前AI不能产生所谓自我意识,有一个理解是它是一个开环状态,没办法自我检索、记忆和理解,但如果完成不断合成数据的闭环,就意味着它可能产生长程记忆,甚至涌现出于自我意识。“如果能突破这层界限,它可能会去自我驱动,知道自己往哪个方向进化发展,并生产出来更多数据,喂养给自己。”

但究竟什么是智能,什么是智慧,什么是意识,恐怕是人类也很难对齐的一个概念。

关于这些疑问,许华哲看过的一个解释是:智慧很可能是压缩的能力。

在这种解释里,一个人聪明或有智慧,可能是指一种把海量信息压缩的能力。压缩的越小,往往意味着智慧程度越高。一个典型例子就是,牛顿就是把世界上所有东西落到地上这个现象,压缩成了一个万有引力定律。

在许华哲看来,“Transformer同样是把海量收据压缩到一个隐空间上,这可能就是属于它自己的牛顿定律。”而这,也很可能是智慧的开始。

在陈楸帆看来,“世界的本质很可能就是数学。”据他所知,在美国就有一个名为史蒂芬·沃尔弗拉姆(Stephen Wolfram)的计算机科学家、商人,一直在基于数学做一些模拟实验。Stephen Wolfram认为宇宙本质就是计算,所以会不停通过计算,试图让数学涌现出物理学规律,再涌现出化学规律等等。在陈楸帆看来,这种实验很可能最后可以跟AI连到一起。

AI应该如何与人类对齐?

尽管大部分人觉得AI威胁人类还是一个有些遥远的传说,但从OpenAI风波中,sam的“有效加速主义”与llya的“超级对齐主义”之争,就能看出它并非无稽之谈。

而Sam的回归也似乎在宣告某种历史规律:在AI历史上,好像从来都是加速主义更容易赢。这背后有资本必然扩张的逻辑,也因为人类的好奇心完全是一场不可逆之旅。

许华哲说,“这就像当我们习惯了短平快,就无法忍受追剧时不倍速”,“当看过更大的风景,必然无法回到过去的自己”。

而陈楸帆则认为这两种主义,不会有绝对胜出的一方,更可能像道家阴阳之道或者GAN(生成神经网络)的对抗机制,“最终互相激发,互相抵制,彼此螺旋式上升”。

至于如何让AI对齐人类,如何让机器向善,许华哲说"AI本质是数据的拟合,所以首先取决于我们给他们的数据"。

陈楸帆则认为最终可能还是需要信仰的力量,比如让AI意识到,它的存在与人类的关系。

在一个科幻作家的头脑中,他认为AI很可能是一个自然涌现的过程:人类不过是提供了工程学上的一些基础架构,然后AI借助这些媒介涌现了,被看见了。

他认为关键是,让AI知道,它与人类有着这样更深层的一种联系:“这种绑定,抽象一点就是爱,它可以像引力一样无处不在”。如此以来,AI可能会和人类形成一个命运共同体,并进化成一个对人类更友好的AI。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/182788.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

出于隐私和安全的考虑,有时需要从谷歌删除你的个人数据,有两种方法

如果你是公众人物、企业或拥有个人品牌的人,那么拥有在线形象很重要。然而,你可能会发现,通过谷歌搜索,陌生人可以获得你的个人信息,如联系方式、地址和财务信息,这会让你感到不安。 幸运的是,…

系统频繁崩溃,如何考虑系统的稳定性和可扩展性?

最近网传互联网应用信息系统频繁崩溃,语雀崩完淘宝崩,淘宝崩完滴滴崩,随着业务的发展和技术的进步,对于信息系统的要求也越来越高。信息应用系统为了满足不断增长的用户和业务需求,提高系统的稳定性和扩展性至关重要。…

短 URL 生成器设计:百亿短 URL 怎样做到无冲突?

Java全能学习面试指南:https://javaxiaobear.cn 我们先来看看,当高并发遇到海量数据处理时的架构。在社交媒体上,人们经常需要分享一些 URL,但是有些 URL 可能会很长,比如: https://time.geekbang.org/hyb…

SPL查询

多表查询 create table student ( id int not null unique primary key, name varchar(20) not null, sex varchar(4), birth year, department varchar(20), address varchar(50) );create table score ( id int not null unique primary key auto_increment, stu_id int not …

pytest分布式执行(pytest-xdist)

前言 平常我们手工测试用例非常多时,比如有1千条用例,假设每个用例执行需要1分钟。如果一个测试人员执行需要1000分钟才能执行完,当项目非常紧急的时候,我们会用测试人力成本换取时间成本,这个时候多找个小伙伴把任务…

MySQL根据binlog恢复数据

简介 本文介绍了使用mysqlbinlog导出数据,根据binlog恢复数据,和导出数据时报需要super权限的解决方法。 环境 MySQL: 5.7.40 说明 MySQL的binlog是数据库服务器在运行过程中产生的日志文件,记录了数据库增删改的操作,可用于恢复和…

重排链表,剑指offerII 26,力扣 120

目录 力扣题目地址: 题目: 那我们直接看题解吧: 解题方法: 难度分析: 审题目事例提示: 解题分析: 解题思路: 解题补充: 力扣题目地址: 143. 重排链表 - 力扣&…

基于Django+Tensorflow卷积神经网络鸟类识别系统

欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。 文章目录 一项目简介系统概述系统功能核心技术系统架构系统优势 二、功能三、系统四. 总结  总结 一项目简介 介绍一个基于DjangoTensorflow卷积神经网络鸟类识别系统是一个非…

[ABC261E] Many Operations(dp,位运算,打表)

[ABC261E] Many Operations - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) Problem Statement We have a variable X and N kinds of operations that change the value of X. Operation i is represented as a pair of integers (Ti​,Ai​), and is the following operati…

多目标水母搜索算法(MOJS)求解微电网优化MATLAB

一、微网系统运行优化模型 微电网优化模型介绍: 微电网多目标优化调度模型简介_IT猿手的博客-CSDN博客 二、多目标水母搜索算法MOJS 多目标水母搜索算法(Multi-Objective Jellyfish Search algorithm,MOJS)由Jui-Sheng Chou等…

Verilog 入门(一)(Verilog 简介)

文章目录 什么是 Verilog HDL?Verilog 主要能力模块时延数据流描述方式 什么是 Verilog HDL? Verilog HDL是一种硬件描述语言,用于从算法级、门级到开关级的多种抽象设计层次的数字系统建模。被建模的数字系统对象的复杂性可以介于简单的门和…

景联文科技加入中国人工智能产业联盟(AIIA)数据委员会

近日,景联文科技加入中国人工智能产业联盟(AIIA)数据委员会,成为委员会成员单位。 中国人工智能产业发展联盟(简称AIIA)是在国家发改委、科技部、工信部、网信办指导下,由中国信息通信研究院等单…

docker stop停止一个容器

学习停止一个正在运行的容器,要求学习者参照示例将正在运行的名为firstContainer的容器停止。 相关知识 使用docker stop停止一个容器 docker stop可以用来终止一个正在运行的容器。它的命令格式如下: docker stop [OPTIONS] Container [Container .…

基于springboot家具商城系统

基于springboot家具商城系统 摘要 这个Spring Boot家具商城系统旨在通过现代化的Web应用程序技术提供一个全功能的电子商务平台。系统的核心实体是家具商品,通过RESTful API控制器提供对商品的增删改查等操作。这个系统使用了Spring Boot框架,借助其简便…

nn.TransformerEncoder的输出为NaN值的原因及解决方法

问题描述: 当使用nn.TransformerEncoder时,即如下情况: 实例化一个TransformerEncoder self.encoder_layer nn.TransformerEncoderLayer(d_modelencoder_in_dim, nheadencoder_head,dim_feedforwardencoder_ffnn_dim,batch_firstbatch_fir…

关于团队管理的一些思考

1、团队:为什么需要团队,一个人或者一群人不行吗,当一个项目需要的能力仅靠个人无法满足时,这时候就需要团队来完成,一群人和一个团队的主要区别就是团队有一个共同的目标,团队成员可以发挥自己的优势一起完…

06 C++中变量的作用域

系列文章目录 06 C中变量的作用域 目录 系列文章目录 文章目录 前言 一、局部变量 二、全局变量 三、块作用域变量 总结 前言 C中变量的作用域指的是变量可以被访问的范围,即变量在程序中存在的有效范围。不同作用域的变量具有不同的可见性和生命周期。 在…

Mac单独修改应用语言

方法1: 方法2: defaults write com.microsoft.Excel AppleLanguages ("zh-cn") defaults write com.microsoft.Word AppleLanguages ("zh-cn")参考:https://www.zhihu.com/question/24976020

红队攻防实战系列一之Cobalt Strike

他日若遂凌云志,敢笑黄巢不丈夫 本文首发于先知社区,原创作者即是本人 前言 在红队攻防中,需要我们拥有综合能力,不仅仅是web渗透的漏洞挖掘与利用,边界突破的方式有很多种,当然这需要我们拥有很强的意识…

【LeetCode】101. 对称二叉树

101. 对称二叉树 难度:简单 题目 给你一个二叉树的根节点 root , 检查它是否轴对称。 示例 1: 输入:root [1,2,2,3,4,4,3] 输出:true示例 2: 输入:root [1,2,2,null,3,null,3] 输出&#…