2022 剑桥 AI 全景报告出炉:扩散模型是风口,中国论文数量为美国的 4.5 倍

57bf34b51044ffc37174efc4742a0e1c.jpeg

来源:FUTURE远见

选编:FUTURE | 远见 闵青云 

文:AI科技评论 

近日,剑桥大学的2022年 AI 全景报告(《State of AI Report 》)出炉!

报告汇总和聚焦了过去一年里 AI 行业中炙手可热的事件,援引数据来自知名科技公司和研究小组,由投资者 Nathan Benaich 和 Ian Hogarth 编写,从研究、产业、政策、安全、预测五个维度出发,对最新的 AI 发展现状和未来预期进行深度分析。

以下是报告重点介绍:

1 扩散模型火热、模型开源提速

从研究领域来看,今年 AI 发展呈现五大趋势

01 基于文本到图像的生成能力,扩散模型(Diffusion Models)席卷计算机视觉世界

扩散模型是深度生成模型中新的 SOTA,在一些基准测试中,其图像生成能力超越了 GAN,是当前文本生成图像最火热的模型,并逐渐扩大到文本生成、文本转音频、文本转视频以及分子设计等领域。

今年4月,OpenAI 发布 DALL-E 2,只需要给到寥寥几句文本指示就可以生成全新的图像,刚亮相就在图像生成和图像处理领域引发极大的关注度。不久,谷歌也紧接着推出的 Imagen,基于大型 Transformer 语言模型在理解文本方面的能力和扩散模型在高保真图像生成方面的能力,将文本生成图像的逼真度和语言理解提到了新高度。

而真正将生成式 AI 推向创作高潮的,是 Stability.Ai 在8月份公开发布的 Stable Diffusion 模型,只需输入几行文字描述,几秒钟后,AI 便能生成一幅幻彩斑斓的画作。

可以看到,目前 Stability.ai 和 Midjourney 等公司所创建的文本转图像模型,已经可以跟发展成熟的 AI 实验室的产品相媲美,其中,Midjourney 采用了订阅制的收费模式已经盈利,Stability 的模型则是开源的。

4558078030464f8cc282cbe789af1536.jpeg

图注:Stable Diffusion 生成图像

此外,基于扩散的文本到视频生成的研究也从今年4月左右就展开了。

9月下旬,Meta 发布“Make-a-Video”,宣布了从文本到视频生成的 DELL-E 时刻早于预期,文本转视频的扩散模型首次在业界引起轰动。不到一周后,谷歌也发布了两个模型:基于扩散模型的 Imagen 和非扩散模型的 Phenaki,后者能够通过附加提示动态来调整视频生成。

02 AI for science,聚焦塑料回收、核聚变反应堆控制和天然产物发现等更多科学问题

在 AI for science 研究中,今年有不少突出的工作。

其中,DeepMind 与悉尼大学、牛津大学合作,将 AI 模型应用到数学领域的拓扑和表示论猜想,提出了一种新的算法,通过研究纽结的结构,发现数学在不同领域中的隐藏联系,该研究发表在《自然》杂志上。

4e9b8b8111ca569ab207cba4029da9de.jpeg

图注:纽结结构

一年前,DeepMind 发布 AlphaFold2,以原子水平的准确度预测了三分之二的蛋白质结构,并与 EMBL-EBI 共同发布蛋白质结构数据库 AlphaFold DB。

到了今年7月28日,DeepMind 宣布 AlphaFold DB 已从 100 万个结构扩展到超过 2 亿个结构,扩大超过 200 倍,可用于植物、细菌、动物和其他生物的蛋白质预测结构,极大地提升了人们对于生物学的理解。

在塑料回收方面,来自 UT  Austin 的研究人员设计了一种能够降解 PET 的酶(PET 是一种占全球固体废物12%的塑料),称为 PET 水解酶(  FAST‑PETase),能够在一周内几乎完全降解51种不同产品,并且还可以从回收的单体中重新合成 PET FAST‑PETase。

03 标度法则重新聚焦数据:模型标度并不是全部都需要的,朝单一模型发展,其核心在于数据

对于通用多任务、多模式模型的尝试,可以追溯到谷歌此前提到的“一个模型来学习”。

此前有研究发现,LLMs 可实现让机器人通过自然语言对每个步骤的解释来完成各种任务,但由于对机器人所处环境和现实能力缺乏认知,LLMs 的解释时常会出现无法被理解的情况。随着 PaLM-SayCan 的出现,这一问题也已经得到解决。

DeepMind 推出的 Gato 将这项工作带到了另一个层次,通过一个1.2B参数转换器,可以实现在机器人、模拟环境、视觉和语言中执行数百项任务。

此外,Transformer 作为一种解码器架构,当前其影响力已经超出 NLP,在计算机视觉上也发挥着重要作用,正在成为真正的跨模态产品。

d01745d0ce94597b2718f1335f897461.jpeg

图注:与 Transformer 相关的论文占比

04 社区驱动的大型模型开源速度加快,集合模式可以参与同大型实验室的竞争

OpenAI、DeepMind 旗下有多个模型已被开源社区实现、克隆和改进,进度远超预期。

730b45fa4abe52feb17b91caed792967.jpeg

图注:社区驱动的 GPT 等开源

尽管 AI 研究将越来越集中于少数大型实验室,但随着计算成本和访问权限的降低,因此也出现了最先进的研究在更小、以前不为人知的实验室得到提出等情况,同时,这些新的独立研究实验室也在迅速开源。

05 受神经科学的启发,AI 研究方法向认知科学的方向发展

38b971a4c9155864090efbf056ba0ff4.jpeg

图注:中美 AI 论文数量对比

数据显示,自2010年以来,中国机构撰写的 AI 论文数量是美国的4.5倍,远远超过美国、印度、英国和德国的总和。

同时,中国的论文更关注与监控相关的任务,包括对象检测、跟踪、场景理解、动作和说话者识别等。

2 AI 初创公司投资放缓

新贵 AI 半导体初创公司与英伟达相比是否有作为?

报告显示, 英伟达的芯片在 AI 研究论文中最受欢迎, GPU 的使用率是 ASIC 的131倍,是 Graphcore 、 Habana 、 Cerebras 、 SambaNova 和 Cambricon 的芯片总和的90倍,是谷歌 TPU 的78倍,是 FPGA 的 23 倍。

1235e60aa1fbfc33c29a9db3a05c04cc.jpeg

图注:英伟达芯片在 AI 论文中的引用数量

招聘冻结和 AI 实验室解散,促使许多初创公司从 DeepMind 和 OpenAI 等巨头中诞生

DeepMind 和 OpenAI 的校友各自开花,组建了许多新的初创公司,分别研究不同领域的 AI 技术,如:AGI 、人工智能安全、生物技术、金融科技、能源、开发工具和机器人技术。

c59b6c73e0e06ee98fac83fdc9b1ff56.jpeg

图注:由 DeepMind 和 OpenAI 分解出来的初创公司

最新 AI 技术被大型科技公司和初创公司转化为商业开发人员工具

OpenAI 的 Codex 迅速从 2021 年 7 月的研究演变为 2022 年 6 月的开放商业化,微软的 GitHub Copilot 现在以每月 10 美元到每年 100 美元。亚马逊在 2022 年 6 月发布了 CodeWhisperer 预览版。谷歌透露,其内部正在使用以 ML 驱动的代码完成工具,也许几年内会出现在浏览器 IDE 中。同时,拥有 100 多万用户的 Tabnine 筹集了 1500 万美元,承诺有望实现准确的多行代码填写。

人工智能加快药物研发,促进医疗产业发展

人工智能药物发现公司在临床试验中拥有 18 项资产,高于 2020 年的 0 项。

3a18f47945cccf2d949f8df4c7b55c2c.jpeg

图注:每家公司各个阶段的资产数量和资产百分比

另外,由于放射科医生的短缺和成影数量的增加,通过评估X光片针对疾病变得更有挑战性。因此立陶宛初创公司 Oxipit 创建了一个名叫 ChestLink 的计算机视觉系统,该系统可以自动报告没有异常的胸部 X 光片,就无需放射科医生来检查,这是业界首个基于计算机视觉的诊断自主认证。

大学是孕育人工智能公司的温床

目前,大学是人工智能公司重要的资源来源,包括 Databricks 、 Snorkel 、 SambaNova 、 Exscientia 等。在英国有 4.3% 的人工智能公司是大学拆分出来的,是所有英国公司的 0.03% ,人工智能是能够拆分的代表性行业之一,通常这需要高昂的代价,技术转让办公室(TTOs)通常就拆分交易条款进行谈判。

随着市场的扩大,对AI初创公司的投资速度在放缓

与去年相比, 2022 年预计使用AI的公司融资额将减少36%,但仍有望超过 2020 年的水平,这与全球所有 Start-up 阶段和 Scale-up 阶段的公司投资相当。

VC 投资的下降在 1 亿以上的轮次中最明显,而投资规模较小的轮次预计到 2022 年底全球将达到 309 亿美元,与 2021 年的水平相当。

综合公共企业价值(EV)已经下降到 2020 年的水平。同时,私营企业的估值不断增长,综合企业价值已经达到 2.2 万亿美元,比去年增长 16% 。

996545718c06bc0a5cf6cdc88b39f8e3.jpeg

图注:对 AI 初创公司的投资(按轮次)以及对所有初创公司的投资(按轮次)

目前美国的AI独角兽公司数量领先,其次是中国和英国。美国已经创造了 292 家 AI 独角兽公司,企业价值合计 4.6 万亿美元,中国创造了 69 家 AI 独角兽公司,企业价值合计 1.4 万亿美元,英国创造了 24 家 AI 独角兽公司,企业价值合计 2070 亿美元。

7f20e933aeb65de7e307169d9e524cd7.jpeg

图注:各个国家独角兽企业数量以及独角兽企业

尽管对于美国 AI 初创公司的投资大幅度下降,但它们仍然占全球人工智能总投资的一半以上。

91efe910a92a71734865098ee49416f6.jpeg

图注:对 AI 公司的投资金额

企业软件是全球投资最多的类别,而机器人技术占据了 AI 风险投资的最大份额。

1f74358e9124466c5cd6fa8331c274e5.jpeg

图注:各个领域投资金额

尽管 IPO 和 SPAC IPO 的数量急剧下降,但 AI 公司的收购数量可能会超出 2021 年的水平。

2ecb8d39afeabb747c57236c99cd0eb8.jpeg

图注:全球 AI 公司的退出数量,以及 2022 年退出的 AI 企业

3 对未来一年的预测

在2021年的报告中,曾对2022年 AI 的发展情况做出了8项预测,其中已实现 Transformers 在游戏中超过人类表现,这主要得益于 DeepMind 的 Gato 模型可实现对未来状态和动作的预测,日内瓦大学提出的 IRIS 模型则解决了 Atari 环境下的任务。

未实现的预测中提到,Graphcore、Cerebras、SambaNova、Groq、Mythic 中至少有一家被大型科技公司或者半导体公司收购,在今年也没有实现;ASML 的市值当前仅为1650亿美元,距预期中的5000亿美元还存在很大差距;JAX 框架的使用仍然占 Papers With Code 每月回购的不到1%,未达到预测中的5%。

d0802f1966c818220752fb546fb800bb.jpeg

图注:2021年预测中共4项实现

还有一些往年的预测在今年实现了,其中,美国 CHIPS 法案在今年禁止接收方在中国扩大业务,原预测中英伟达最终未能完成对 Arm 的收购、该交易也于今年正式取消。在 AI 初创公司方面,Helsing(德国)在今年筹集了1亿美元的A轮融资。

而对于一直备受关注的 AI 治理问题,2019年预测至少有一家主流 AI 公司会对治理及管理模式作出实质性的调整,Anthropic 也在今年成立、作为公益性公司活动。

14ea3770ac5970fa02e8cc13f8b95964.jpeg

图注:2020年及之前的预测在今年实现

报告中也提出了对未来12个月的9项预测,分别是:

  • DeepMind 训练了一个10B参数的多模态 RL 模型,比 Gato 大一个数量级

  • 英伟达宣布与一家专注于 AGI 的组织建立战略关系

  • SOTA LM 在比 Chinchilla 多10倍的数据点上进行训练,证明数据集缩放与参数缩放

  • 生成音频工具的出现,到2023年9月吸引超过10万名开发人员

  • GAFAM 向 AGI 或开源 AI 公司(例如 OpenAI)投资超过10亿美元

  • 面对英伟达的主导地位,半导体初创公司面临现实困境,一家备受瞩目的初创公司被关闭,以低于其最近估值的50%的价格下跌或收购

  • 一项像  Biosafety 实验室这样监管 AGI 实验室的提案得到英、美或欧盟政治家的支持

  • 超过1亿美元将在明年投资于专门的 AI 对齐组织

  • 一个用户生成内容方(如 Reddit)与一家生产 AI 模型的初创公司(如 OpenAI)协商商业解决方案,以对其用户生成内容的语料库进行培训

参考链接:https://www.stateof.ai/

--AI科技评论

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

55117a83d7176c236713f426cabd4edd.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481457.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

实体对齐汇总

文章目录1.综述2.技术论文3.汇总3.1定义定义统一EA3.2 评价指标3.3 数据集3.4 数据预处理技术3.5 索引3.6 对齐3.6.1 按属性相似度/文本相似度做:成对实体对齐3.6.2 协同对齐:考虑不同实体间的关联3.6.2.1 局部实体对齐3.6.2.2 全局实体对齐3.6.3 基于em…

博后出站即任985教授!他致力于寻找人类五感世界的最后一块拼图

来源:iNature两年前,闫致强从底蕴深厚的复旦大学生命科学学院“跳”到尚处于新生期的深圳湾实验室,“蜗居”在一栋商业大楼里,和团队在这里寻找人类感知世界的最后一块拼图。在亚里士多德定义的五种感官中,介导嗅觉、味…

【实体对齐·BootEA】Bootstrapping Entity Alignment with Knowledge Graph Embedding

文章目录0.总结1.动机2. 贡献方法3.应用场景4.其他模型5.数据集6.效果以下的是组内比较BootEA: “Bootstrapping Entity Alignment with Knowledge Graph Embedding”.Zequn Sun, Wei Hu, Qingheng Zhang, Yuzhong Qu. (IJCAI 2018) [ paper][ code]0.总结 BootEA笔记 BootE…

一项人工智能、化学和分子机器人的交叉研究,加速创新和药物发现,并简化复杂的化学过程自动化...

编辑 | 萝卜皮深入了解各类化学物质的最佳一般反应条件,可以加速创新和药物发现,并使复杂的化学过程自动化且易于使用,对生物医药、材料研究具有重要意义。然而,有机反应的一般条件很重要但很少见,以往识别它们的研究通…

【实体对齐·综述】An Experimental Study of State-of-the-Art Entity Alignment Approaches

文章目录0.总结1.Introduction2.Preliminaries2.2 Scope and Related work2.2.1 Entity Linkingentity disambiguation2.2.2 Entity resolutionentity matchingdeduplicationrecord linkage2.2.3 Entity resolution on KGs2.2.4 EA3.general框架3.1 Embedding Learning Module3…

汽车生产线上的工业机器人是如何工作的?

来源:宝石部落 责任编辑:朱光明 审核人:王颖十年来,随着机器人在制造业的普遍应用,我国工业机器人产业规模快速增长。2021年,我国工业机器人产量达36.6万台,比2015年增长了10倍,市场…

【实体对齐·HGCN】Jointly Learning Entity and Relation Representations for Entity Alignment

文章目录1.动机2.输入输出3.相关工作4.模型4.1 GCN4.2 approximating relation representations4.3 joint entity and relation alignmentHGCN: “Jointly Learning Entity and Relation Representations for Entity Alignment”. Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wa…

Science:海马中如何实现选择性地招募神经元来巩固记忆?

来源:brainnews作者:brainnews创作团队神经元网络活性的标志是选择性地将神经元招募到活跃的集合中,形成暂时稳定的活动模式。在哺乳动物的海马体中这种神经元集合在ripples(~200Hz)振荡期间反复激活,支持空…

往年笔试题

文章目录1 概率1.1 条件概率.每天9点到10点,小明和小红在同一个车站乘坐公交车上班。小明坐101路公交车,每5分钟一班{9:00, 9:05, 9:10, …};小红坐102路公交车,每10分钟一班{9:00, 9:10, 9:20, …},问小明和小红每天相…

量子生物学的未来:量子理论如何帮助理解生命?

导语2022年诺贝尔物理学奖授予了关于量子信息科学的基础性研究。一百多年前,量子革命为我们带来了晶体管和激光,今天,基于量子信息的新技术正在让我们进入一个新的量子信息时代。事实上,已有研究表明,在生命过程中也存…

【量化投资1】

文章目录0.相关包及常识1.股票买卖收益分析2.双均线策略2.1 均线2.2 双均线2.2.1 金叉死叉的获取量化投资0.相关包及常识 股票的买入卖出:最少为一手,100股 tushare open:开盘价格,close:收盘价格 1.股票买卖收益分析 每次至少买入1手最后…

超高效人工光电神经元成真?速度比自然神经元快3万倍,研究登Nature子刊

来源:悦智网作者:Charles Q. Choi翻译:机器之心原文链接:https://spectrum.ieee.org/neuromorphic-computing-superconducting-synapseAI系统越来越受限于为实现其功能的硬件。现在,一种新的超导光子电路问世&#xff…

模型训练trick

这里写自定义目录标题1. 多任务模型的权重:1.1 权重自动调节2.自动调参1. 多任务模型的权重: 1.1 权重自动调节 Multi-Task Learning for Dense Prediction Tasks: A Survey 依据子任务loss的梯度,获得权重 较好的实现: Automa…

2022年工业机器人的5大应用行业

来源:工业机器人前言截止至2022年,在中国60%的工业机器人应用于汽车制造业,其中50%以上为焊接机器人;在发达国家,汽车工业机器人占机器人总保有量的53%以上。‍本文梳理了五大应用行…

【java spring学习1】IOC理论,spring用DI实现IOC

狂神说java spring:让java 开发更容易 IOC:控制反转 AOP:面向切面编程(业务面) 2. spring组成和扩展 2.1spring 组成 Sprint AOP ORM:对象关系映射 Context:UI界面、邮件验证等 2.4 拓展 学习路线: spring boot:构…

深度学习以最佳纳米尺度分辨率解决重叠单个分子的3D方向和2D位置,生成蛋白质图片...

编辑 | 萝卜皮偶极扩散函数 (DSF) 工程重塑了显微镜的图像,可以最大限度地提高测量偶极状发射器 3D 方向的灵敏度。然而,严重的泊松散粒噪声、重叠图像以及同时拟合高维信息(包括方向和位置)使单分子定向定位显微镜(SM…

【大数据学习-hadoop1】大数据如何处理

文章目录1. 大数据启蒙1.1 意义1.1.1 查找元素1.1.2 单机处理大数据问题1.2 历史1.3 hadoop1. 大数据启蒙 学习视频 大数据多,复杂度很重要, 内存不够,分治处理IO仍成为瓶颈,多机器并行多机器间通信也可以并行,但仍是…

自动驾驶数据之争,走向合规

报道数字经济 定义转型中国撰文 | 泰伯网 编辑 | 鹿野2015年12月,一辆百度无人车从京新高速到五环进行了最高时速达100公里的全自动行驶,将国内自动驾驶推向大众视野。当自动驾驶产业随时间沉淀驶入商业落地的下半场,百度对这场自动驾驶持久…

【推荐系统算法学习笔记1】基本架构、专有名词、构建流程

文章目录1.架构1.1 大数据框架:lambda 架构的1.2.基本概念2. 推荐模型构建流程2.1 数据2.1.1 数据来源2.1.2 数据清洗、处理2.2 特征工程2.3 算法(机器学习)来源1.架构 推荐算法架构 召回 协同过滤基于内容的基于隐语义的 排序 召回决定了推…

DeepMind专题之创始人访谈|DeepMind创始人Demis Hassabis:AI 的强大,超乎我们的想象...

来源:图灵人工智能作者:黄楠、王玥编辑:陈彩娴导读:DeepMind,位于英国伦敦,是由人工智能程序师兼神经科学家戴密斯哈萨比斯(Demis Hassabis)等人联合创立的Google旗下 前沿人工智能企业。其将机…