中国科学家建立可与人脑突触数量相较的AI模型——“八卦炉”

497634636b57120d9404be70c262419e.png

来源:俄罗斯卫星通讯社

中国科学家基于最新的一台配备双威处理器的超级计算机,建立了“脑级人工智能模型”——八卦炉(BAGUALU)。其具有174万亿个参数,可与人脑中的突触数量相媲美,将在从自动驾驶汽车到科学研究的各种场景中应用。

AI大模型(Foundation Models):是指经过大规模数据训练且在经微调后即可适应广泛下游任务的模型。随着参数规模不断扩大,AI大模型在语言、视觉、推理、人机交互等领域涌现出新能力。由于各类AI大模型可有效应用于多种任务,各类AI大模型同质化特征愈发明显。

根据最新发布的《2022年全球人工智能产业研究报告》,伴随2017年Transformer模型的提出,深度学习模型参数数量突破1亿个。此后,模型参数数量迅速增长,其中BAGUALU模型于2021年7月发布,参数规模已达到174万亿个。

报告称,模型参数规模的增大,有助于进一步提高模型的运算精度。AI大模型的应用向多个应用场景提供预训练方案,其使用的自监督学习方法也可减少标注数据的使用,降低训练研发成本。具体而言,AI大模型在医疗和生物医药、法律和教育等领域拥有广阔应用前景。

清华大学、阿里达摩院等机构的研究人员提出的“八卦炉”(BAGUALU),是第一个针对在超算,也就是新一代“神威”上,训练参数量达到“百万亿级”模型的工作。“八卦炉”通过结合特定硬件的节点内优化和混合并行策略,在前所未有的大型模型上实现了体面的性能和可扩展性。

“八卦炉”可以训练14.5万亿个参数的模型,使用混合精度的性能超9过1 EFLOPS(每秒浮点运算次数),并且有能力训练174万亿个参数的模型。显然,这已经相当于人脑中突触的数量了。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

46aeb0ba5d202818ed2f12105f0edf40.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481895.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java面试知识点:多线程

问题:Java面试知识点:多线程 答案: 1.线程 代码如下: package com.xy;/*** ProjectName: day01* Package: com.xy* ClassName: test01* Author: 杨路恒* Description:* Date: 2021/8/25 0025 16:57* Version: 1.0*/ public class…

基础科学研究需要哲学滋养

来源:人民网-人民日报 2017年3月28日作者:丘成桐(清华大学丘成桐数学科学中心)现代科技进步日新月异,不断拓展人类认知和活动的边界,广泛影响社会生产生活的各个方面。比如,高铁、飞机大大方便了…

Java面试知识点:网络编程

问题:Java面试知识点:网络编程 答案: 1.InetAddress 代码如下: package com.xy;import java.net.InetAddress; import java.net.UnknownHostException;/*** ProjectName: day01* Package: com.xy* ClassName: test01* Author: 杨路恒* Des…

游戏+与通用人工智能的实现

算法、算力与场景,是AI研究的关键要素。AI 对数据要求量极大,否则无法达到人类正确识别的程度。自 AlphaGo 一鸣惊人后,越来越多AI 研究团队意识到,游戏是 AI 的绝佳训练场之一。游戏推动科技创新上行一直以来我们很少把活泼轻松的游戏娱乐与…

A Survey on Knowledge Graphs___Representation, Acquisition and Applications.知识图谱综述:表示,获取,应用

知识图谱综述:表示、获取及应用 这是研究生第一篇综述文章,第一次读也是花了好几天的时间。 摘要:人类的知识提供了对世界的一种形式的理解。表征实体之间结构关系的知识图已成为认知和人的智能研究的热门方向。在这个调查中,我们提供了一…

李飞飞划重点的「具身智能」,走到哪一步了?

来源:选自Quanta magazine作者:Allison Whitten编译:机器之心编辑:张倩在前段时间的一篇文章中,李飞飞指出了计算机视觉未来的几个重要方向,其中最重要的一个就是具身智能。她认为,具身智能将成…

基于链接预测和卷积学习的Web服务网络嵌入

Web Service Network Embedding based on Link Prediction and Convolutional Learning 这是我读研的第一篇论文,也是花了好几天的时间。 基于链接预测和卷积学习的Web服务网络嵌入 摘要:为了在许多基本任务中,如基于Web的软件服务聚类、推荐…

芯片光刻路线图

来源:内容来自半导体行业观察(ID:icbank)编译:SPIE我们所知道的第一个半导体路线图可能是摩尔观察到的,以他为名字的“摩尔定律”预计,芯片的计算能力随着时间的增长呈指数增长。这促使芯片制造…

知识图谱常用指标:MRR、Hits@1、Hits@10、MR

知识图谱常用指标:MRR、Hits1、Hits10、MR 一、MRR MRR的全称是Mean Reciprocal Ranking,其中Reciprocal是指“倒数的”的意思。具体的计算方法如下: 其中是三元组集合,是三元组集合个数,是指第个三元组的链接预测排名…

科学创新四十年,我们可能还没搞明白科学和技术的基本概念

来源:澎湃新闻智库报告栏目撰文:周路明(源创力离岸创新中心负责人,深圳市科协原主席)中国系统推进科学和技术发展的工作始于改革开放,至今已经40余年。中国官方和民间发展科学和技术的热情在世界范围内都屈…

Python:Tensorflow中两个稀疏张量相乘

Python:Tensorflow中两个稀疏张量相乘 博主在想让两个稀疏张量进行相乘时,发现不能用tf.matmul、tf.sparse_matmul、tf.sparse_tensor_dense_matmul,看来tf内置的没有对两个SparseTensor相乘的函数,于是,我在网上找了相…

超越Yann LeCun:世界模型的学习和推理

来源:CreateAMind节选第二节,约4000字摘要了解大脑中的信息处理并创造通用人工智能是全世界科学家和工程师的长期愿望。人类智能的显着特征是在与包括自我在内的世界的各种互动中的高级认知和控制,这些不是预先定义的,而是随着时间…

有了这个标准,你就知道和你聊天的AI是什么水平了

来源:AI前线编辑:刘燕InfoQ 获悉,6 月 28 日,由清华大学计算机教授、智能技术与系统实验室副主任黄民烈发起,联合了十余家科研机构、二十多位知名学者共同制定的全球首个《AI 对话系统分级定义》(以下简称《…

UCL汪军专访:从生命体决策出发,探索智能决策的安全与风险

来源:智源社区整理:沈磊贤编辑:李梦佳导读:我们的日常生活中无时无刻不涉及到决策,如果说感知智能是从观察到发现规律的过程,那么决策智能就是从规律再返回到感知世界,进而改变数据的过程。这样…

课程设计-毕业设计-JAVA画板课程设计---总之岁月漫长,然而值得等待。

在校大学生的一份辛苦劳动成果写了一个小画板程序。 任务书... 1 1.1设计内容... 1 1.2设计任务及具体要求... 1 1.3软件开发运行环境.. 1 2 本组课题... 1 2.1课题... 1 2.2本人任务... 2 3 程序功能简介... 2 1.画板具体功能.. 2 2.功能分析:... 2 …

忆阻器取代晶体管?时间问题!

来源:悦智网1947年,贝尔实验室发明了晶体管,开创了一个电子设备的时代,电子设备比体积庞大、易碎的真空管电子设备更小、运行更冷、功耗更低。晶体管用作二进制开关,以促进电流从关闭状态变为开启状态。收音机、计算器…

可微硬件:AI将如何重振摩尔定律的良性循环

来源:OneFlow撰文:吕坚平本文阐述了当今AI硬件渊源,跳脱过去芯片设计窠臼,以可微分GPU及可微分ISP为例,提倡以AI为本的可微分硬件理念。希望借此可重振软硬件彼此加持的雄风,缓解甚至逆转摩尔定律的衰退。据…

2nm就靠它了!ASML加速研发新一代光刻机:更贵、更强

来源:万物智能视界用于生产 2nm 芯片的 ASML 新款光刻机预计在 2025 年首次投入使用,对芯片厂商而言,“2nm 工艺战”已经打响。ASML 冲刺 0.55 NA EUV 光刻机对于芯片厂商而言,要想发展先进制程,光刻机是关键设备。而从…

中国机器人产业图谱(2022)

来源:阿里云加速器与行行查研究中心编辑:蒲蒲当前中国机器人产业呈现良好发展势头,产业规模快速增长,“十三五”以来年均复合增长率约为15%;产业格局不断优化,以智能制造、智慧服务为使命与愿景的机器人企业…

全球十大半导体企业,美国独占七席

来源:芯师爷想要了解半导体行业,就永远绕不开一个国家:美国。作为半导体的重要发源地,美国成功确立了芯片市场的“老大”地位。根据IC Insights的芯片市场研究报告,2021年美国企业占据了全球芯市场总销售额的54%&#…