每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

看看OpenAI“超对齐”团队啥水准!

就在投资者准备针对萨姆·奥尔特曼被OpenAI无礼解聘一事群情激奋的时候,奥尔特曼本人正密谋重返OpenAI。与此同时,OpenAI“超对齐”团队的成员一直在苦心孤诣地攻克如何控制比人类更智能的AI这一难题。

当然,这只是他们想给外界的印象。

本周,我与超对齐团队的三名成员科林·伯恩斯、帕维尔·伊兹梅洛夫和莱奥波德·阿申布伦纳进行了通话。他们当时正在新奥尔良参加每年一度的机器学习大会NeurIPS,发表OpenAI在确保AI系统按预期行事方面的最新研究成果。

OpenAI于今年7月成立了超对齐团队,目标是开发各种方法来引导、规范和治理“超级智能”AI系统,也就是理论上智能远超人类的系统。

“如今我们基本能对付比我们更低能的模型,最多对人类级别的模型进行对齐。”伯恩斯说,“但要对真正比我们更智能的模型进行对齐,那就不是那么回事了——我们该怎么做到啊?”

超对齐项目由OpenAI联合创始人兼首席科学家伊利亚·萨斯凯沃领衔。7月的时候这没什么好诟病的,但是现在哈哈哈,我们都知道萨斯凯沃就是那批最初要开除奥尔特曼的人之一。虽然某些报道暗示萨斯凯沃在奥尔特曼归来后处于“游移状态”,但OpenAI的公关至少跟我说,萨斯凯沃如今还在带领超对齐团队开展研究。

在AI研究界,超对齐一直是个敏感话题。有人认为这一分支领域还为时过早;有人则暗示它是个幌子。

尽管奥尔特曼一直把OpenAI比喻为“曼哈顿计划”,甚至组建了一个团队来探查AI模型,防止它们带来“灾难性风险”,包括化学和核威胁。但一些专家表示,目前还没有证据表明这家创业公司的技术在任何时候——至少短期内不会——获得足以威胁世界或战胜人类的能力。这些专家补充道,所谓即将来临的超级智能的说法只是故意转移视线,不去正视当下迫在眉睫的AI监管问题,比如算法偏见和AI的“嗜血”倾向。

不管怎样,萨斯凯沃似乎确实认为,AI总有一天会对人类生存构成威胁,当然这里指的不是OpenAI的AI。据报道,他甚至在公司的一次远足中烧了一个木人来表明自己致力于防止AI伤害人类。为了超对齐团队的研究,他控制了OpenAI目前计算能力的20%。

“AI最近的进步非常迅速,我向你保证进度只会越来越快。”阿申布伦纳说,“我认为我们很快就能达到人类水准的系统,但它不会就此停下来——我们会直接进入超人类级别……那么,如何对齐超人类AI系统并使之安全运转呢?这真的是整个人类面临的问题,也许是我们这个时代最重要的未解决技术难题。”

目前,超对齐团队正试图建立治理和控制框架,适用于未来强大的AI系统。考虑到“超级智能”的定义及某AI系统是否已达此级别都是存在争议的问题,这并非一项简单的任务。但是团队目前采取的方法是,使用一个较弱、较不复杂的AI模型(如GPT-2)来引导一个更高级、更精密的模型(如GPT-4),使其朝着理想的方向发展,远离不良方向。

类似于中学生试图指导大学生。即使中学生的指示在细节上可能有误,但大学生仍能抓住要点,比指导者做得更好。

在超对齐团队的设置中,一个在特定任务上微调过的弱模型生成标签,这些标签用于“传达”该任务的主要思想给强大的模型。在这些标签的基础上,即使弱模型的标签包含错误和偏见,强模型仍能根据弱模型的意图做出更多或更少正确的推广。

这种弱模型-强模型方法甚至可能在减少“幻象”方面有突破。“幻象”很有趣,因为模型内部其实知道自己说的东西是事实还是虚构。但是人类在训练模型时,有时会不经意地对模型的虚假陈述给予肯定,造成这种情况。如果我们的研究成功,我们将能开发出技术,来召唤模型对某事实虚构的判断,从而减少幻象。

当然这种类比也并非完美。因此OpenAI希望能群策群力。

为此,OpenAI启动了一项1000万美元的资助计划,支持超级智能对齐领域的技术研究。其中一部分资金将分配给学术实验室、非营利组织、个人研究者和研究生。OpenAI还计划在2025年初举办一次学术会议,分享和推广超对齐大奖决赛者的研究工作。

有趣的是,部分资助将来自前谷歌CEO、董事长埃里克·施密特。施密特是奥尔特曼的坚定支持者,他坚信危险的AI系统正迅速来袭,监管者并没有做好充分准备。这当然不一定出于利他主义——Protocol和联线的报道指出,作为AI的积极投资者,如果美国政府采纳他的AI研发蓝图,施密特有望从商业上获利数十亿美元。

那么从这个角度看,这笔捐赠有点像“擦亮金身”。施密特个人财富约240亿美元,他已经向其他一些决不会考虑道德的AI创业企业和基金投入了数亿美元——包括他自己的。

当然,施密特否认这种说法。他在一封电子邮件声明中说:“AI和其他新兴技术正在重塑我们的经济和社会。确保它们与人类价值观保持一致至关重要,我很自豪能支持OpenAI的新计划,负责任地为公共利益开发和控制AI。”

的确,一个商业动机如此明显的人物的介入不禁让人思考:OpenAI的超对齐研究以及它鼓励社区提交的未来会议论文是否会公开提供他人自由使用?

超对齐团队向我保证,是的,OpenAI的研究(包括代码)以及其他获得OpenAI超对齐类资助和奖项的工作都将公开共享。我们拭目以待。

“为我们自己的模型的安全性做贡献当然很重要,但为其他实验室的模型和整个先进AI的安全性做贡献也是我们的使命的一部分。”阿申布伦纳说,“这对实现我们的使命,‘造福全人类,安全地开发AI’,是绝对必要的。我们认为这项研究对于让它成为有益和安全的工具至关重要。”