来源:龙为科技
2019年9月18-20日,华为公司在上海举办第四届华为全联接大会(HUAWEI CONNECT),发布云和AI的最新产品与解决方案,分享如何应用云和AI的技术,推进数字化转型的最新实践。
华为首次发布整体计算战略,推出全球最快AI训练集群Atlas 900
9月18日,上海,第四届华为全联接大会开幕,华为首次发布计算战略,基于架构创新、投资全场景处理器族、有所为有所不为的商业策略、构建开放生态进行布局,计算产业新的大航海时代由此开启。同时,华为重磅发布了全球最快AI训练集群Atlas 900,加速科学研究与商业创新的智能化进程。
华为副董事长胡厚崑发表主题演讲
两年前,华为发布了新的愿景使命,就是“把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界”。
我们认为智能世界有三个特征,就是万物感知、万物互联、万物智能,要支撑这样一个智能世界,有两个关键的技术需要持续创新和投入:联接和计算。
智能世界的两大关键技术
大家印象中的华为一直是做联接的,在过去三十多年里,华为在联接领域持续不断地投资,从有线到无线,从2G、3G、4G,到今天热门的5G,华为已经取得了一些成绩。
然而华为并不只是一家做联接的公司。在我们看来,要支撑未来的智能世界,联接和计算缺一不可。事实上,联接和计算这两大技术,就象一对孪生兄弟,相互促进、协同发展。
可以说,在未来的智能世界里,联接到哪里,计算就到哪里,哪里有计算,哪里就有联接。过去我们联接谈得比较多,其实华为对计算的投入已有十年,今天重点向大家分享一下华为在计算方面的洞察与战略。
计算成为人类能力的延伸
首先谈谈我们对计算产业的一些观察。从1946年第一台计算机诞生,70多年以来,从大型机到个人计算机,从台式机到笔记本、到平板电脑,从智能手机到可穿戴设备,计算设备体积越来越小,功能越来越强,离人的距离也越来越近。
可以说,计算能力已经成为人的能力的一种延伸,沿着这样的趋势走下去,我们相信计算产业的发展前景是不可限量的。
计算模式不断演进
过去70年来,计算模式本身也在不断发展。我第一次接触到计算机,是从大学开始的,那个时候学编程,老师教的就是,你给一个公式,它就给你一个结果,事实上这就是一种基于规则的计算模式。这样一种计算模式,当初很好地解决了人口普查、弹道计算等问题。
然而,对于一些无法用确定规则描述的问题,比如说语音识别、图像识别、实时翻译等,基于规则的计算模式要解决这些问题就很吃力。
可喜的是,科学家们找到了一种新的计算模式,就是基于统计的计算模式,能够很好地解决以上提到的这些问题。并且,这种基于统计的计算模式,也成为了当前人工智能发展的关键基石。
我们认为,这种基于统计的计算模式将逐渐成为主流。预计5年后,AI计算所消耗的算力,将会占到全社会算力消耗总量的80%以上,基于这样的变化,我们认为计算正在进入一个新的智能时代。
计算进入智能时代
在计算的智能时代,我们认为有三个重要特征。
第一个特征,需要超强的算力。统计计算本身就是一种暴力计算,高度依赖于算力。举个例子,为了让计算机认识一只猫,就需要数百万图片的训练,这对算力的消耗是非常惊人的,面向自动驾驶、天文探索、气象预测等更复杂场景,对算力的需求将会更大。
第二个特征,计算和智能将会无处不在,而不仅仅是分布在中心侧。从中心节点的暴力计算,到边缘侧的专业计算,如基因测序,以及端侧的个性计算,如耳机、手机,一起构成了未来智能时代的计算形态。
第三个特征,端边云之间需要高效的协同。中心侧负责通用模型的计算,为端侧的个性化计算和边缘侧的专业化计算,提供协同支撑。
2万亿的计算产业大蓝海
要实现这三个特征,我们依然面临很多挑战。比如,超强的算力,探索新的计算架构,面向全场景的处理器等等。
在华为看来,挑战恰恰意味着机会,挑战越大,机会就越大。我们面临的是一个计算产业的大蓝海,这里引用Gartner的数据,预计到2023年,计算产业的规模将超过2万亿美元。
华为计算产业战略
因此,华为坚定不移地投入计算产业,我们主要从四个方面来布局,包括对架构创新的突破、对全场景处理器族的投资,坚持有所为有所不为的商业策略,以及不遗余力地构建开放生态。
从我们前面的洞察来看,未来计算无处不在、智能无所不及,这其中算力是关键基础。
而目前产业界算力供给却是稀缺的,算力供给的关键在于处理器的效能,当前摩尔定律已经几乎走到极限的时候,从产业发展角度,我们必须要在处理器架构上寻求突破,要用新的处理器架构来匹配算力的增速。
另一方面,从华为自身的业务布局来看,既有网络业务,也有终端业务,又涉及公有云服务,全面覆盖端、边、云,所以全场景智能,本身就是华为业务智能化的基本需求。
因此,我们推出了达芬奇架构,以实现计算和智能的无处不在,这是自然而然的选择。到目前为止,达芬奇计算架构是业界唯一能够覆盖“端、边、云”全场景的处理器架构,这也是华为打造计算产业的坚实基础。
处理器是整个计算产业最基础的部分,经过多年投资努力,华为已经发布了多个系列的处理器。
具体包括支持通用计算的鲲鹏系列,支持AI的昇腾系列,支持智能终端的麒麟系列,以及支持智慧屏的鸿鹄系列。未来将持续不断地对处理器进行投资,将来还将推出一系列处理器,面向更多的场景。
我们的商业策略,用一句话概括就是“有所为有所不为”。总体而言,我们不直接对外销售处理器,以云服务面向客户,以部件为主面向合作伙伴,优先支持合作伙伴发展整机。具体来说,我们有三个方面的考虑:
硬件开放:我们把服务器主板、AI模组和板卡等硬件开放给伙伴,帮助伙伴做好整机和解决方案。
软件开源:我们把服务器操作系统、数据库、AI开发框架等软件开源,帮助伙伴做好商用版本,让软件开发更简单。
使能应用开发和迁移:我们不做应用,但我们提供工具和团队,帮助伙伴更高效地做好应用开发和迁移。
我们希望通过这样一种“有所为有所为不为”的商业策略,来更好地支持我们的伙伴。
最后,计算产业是个开放的产业,高度依赖于生态,需要全球的协作。
2015年,华为首次发布了沃土计划,在过去的四年以来,我们进展非常顺利,已经发展了130多万开发者和14000多家ISV。
今天,我们将升级沃土计划,继续投入15亿美元,使开发者的规模扩大到500万人,使能全球合作伙伴发展应用及解决方案,在本次大会的第三天,我的同事将会发布详细的计划。
通用计算业务策略
在通用计算领域,我们投资鲲鹏系列,打造有竞争力的通用计算处理器。
在此基础上,我们还在持续不断地对板卡、服务器、操作系统、数据库、编译器等关键技术和产品进行投资,希望通过强力投资,打通生态全链条,让我们的合作伙伴更有信心、更坚定地参与打造鲲鹏产业。
我们也正在联合伙伴们打造鲲鹏产业生态基地。
我们与各地的政府、合作伙伴一起,结合当地的优势,打造鲲鹏计算产业的创新基地和孵化平台。以平台为载体,聚合生态伙伴,开展应用示范,培养产业人才,孵化产业标准。
目前工作开展非常顺利,我们已经在北京、上海、深圳等城市开始实施落地,预计未来将会有更多的合作伙伴,加入我们的行列。
AI计算:全栈全场景AI解决方案全面落地
去年全联接大会上,华为发布了全栈全场景的AI解决方案,坦率地讲,当时我们只交付了用于推理的昇腾310处理器和ModelArts应用开发平台。
今年,我们的用于训练的昇腾处理器和AI计算框架MindSpore都已经发布了。至此,华为的全栈全场景AI解决方案全面落地,大家可以放心地和我们来开展合作。
发布Atlas 900:全球最快的AI训练集群
今天,我们将发布一款重量级的产品——Atlas 900,这款产品汇聚了华为几十年的技术沉淀,是当前全球最快的AI训练集群,由数千颗昇腾处理器组成。
在衡量AI计算能力的金标准ResNet-50模型训练中,Atlas 900只用了59.8秒就完成了训练,这比原来的世界记录还快了10秒。这是什么概念?相当于短跑冠军跑完终点,喝完一瓶水才等到第二名。
我们相信Atlas 900的强大算力,可广泛应用于科学研究和商业创新。比如天文探索、石油勘探等领域,都需要进行庞大的数据计算和处理,原来可能花费好几个月的工作,现在交给Atlas 900,就是几秒钟的事情。
接下来分享一个天文探索的案例,是华为联合上海天文台与SKA共同打造的,天文研究高度依赖于海量的数据分析和计算,离不开超强的算力支持。
以下是一张南半球的星空图,这张图上有20万颗星星,用人眼是看不见这么多星星的,这些画面来自于SKA射电望远镜的数据。
当前条件下,天文学家要从这20万颗星星中,找出某种特征的星体,相当困难,一个天文学家需要耗费169天的工作量,才能完成这项工作。现在用上Atlas 900,只用10秒,就从20万颗星星中检索出了相应特征的星体。
发布基于昇腾的华为云EI集群服务
为了让大家马上就能用上Atlas 900的超强算力,我们已经把它部署到华为云上,并以极优惠的价格向全球科研机构和大学开放,欢迎大家申请使用。
开拓计算产业大航海新时代
今天,各行各业数字化、智能化转型如火如荼,计算产业蓬勃发展。华为坚定不移地投入计算产业,从最难的架构突破做起,自研处理器,以此为基础打造产业,构建生态。
我们坚信,只有克服最大的困难,才能真正构建起竞争力,才能为行业伙伴打开更大的产业空间,我们要用最好的技术,解决世界上最难的问题,把不可能变成可能。
这是计算产业新的大航海时代,我们期待的是千帆竞发,而不是独舟奋进。我们期望和各行各业的伙伴共同努力,抓住历史机遇,共创智能新高度。
一张图看懂Atlas 900
华为全面启航计算战略:“鲲鹏+昇腾”双引擎、硬件开放、软件开源、使能合作伙伴
HUAWEI CONNECT 2019第二天,华为基于“鲲鹏+昇腾”双引擎正式全面启航计算战略,宣布开源服务器操作系统、GaussDB OLTP单机版数据库,开放鲲鹏主板,拥抱多样性计算时代。华为通过硬件开放、软件开源、使能合作伙伴,共同开拓万亿级的计算产业大蓝海。
华为Cloud & AI产品与服务总裁侯金龙在大会上发表了“鲲鹏展翅,昇腾万里,力算未来”主题演讲。
女士们、先生们,朋友们,大家上午好!欢迎来到华为全联接大会。
昨天华为副董事长胡厚崑全面阐述了我们的计算产业战略,今天我将继续分享华为在计算产业的思考和实践。我身后背景画面显示的是中国五岳之首泰山,山顶是初升的太阳和展翅的鲲鹏,我们希望计算产业就像这只鲲鹏一样展翅飞翔、昇腾万里。
从微观世界、日常生活到宏观世界,计算加速了人类认知世界的进程。
微观世界,进行一次全基因组测序,2003年首次完成花了12年,现在只需要1天,背后的算力提升了1000倍以上。
日常生活,20年前只能预测1天的天气情况,现在可以准确预测7天,背后的算力提升了2万倍。
宏观世界,人眼最远可观测到220万光年之外的星系;而现在“中国天眼”能将人类的视野拓展到137亿光年之外的太空。
当前,计算产业正在发生深刻的变化。我们认为,主要呈现4大趋势:
目前在先进的大规模数据中心中,服务器成本占比持续提升。以华为云数据中心为例,服务器成本占比已超过60%,计算正在成为数据中心的主体。同时,每年AI算力需求增长超过了10倍。预计到2025年,AI算力将会占据数据中心算力的80%以上。为充分发掘数据的价值,以前更多的是存、未来更重要的是算,数据中心正逐步演变为计算中心。
2018年,全球Arm芯片出货超过230亿片,主要用于端和边;2018年数据中心通用CPU出货不到3000万片,是数百倍的差距。据预测,2019年华为智能手机总的算力,将是今年全球数据中心新增算力的2倍。端和边算力的巨大优势将牵引生态的发展,进而驱动中心侧计算架构的创新。
同时,5G的高带宽、低时延,将驱动移动应用走向云化,比如游戏、VR,渲染在云上、交互在端侧。目前,智能手机上有超过500万应用,而现有数据中心以通用CPU为主,基于Arm的移动应用迁移上云,性能损失约40%,不仅影响用户体验、而且增加迁移成本。端和云算力同构,则可以天然解决这个矛盾。
昨天发布的Atlas 900 AI训练集群,算力达到了256 PFLOPS。此前我们测算过,要实现这样的算力,如果采用通用CPU需要6195个机柜,用GPU需要208个机柜,而NPU如昇腾只要128个机柜,这归功于昇腾架构对深度学习业务的优化。而最终,我们只用了16个机柜,除芯片优化之外,我们还增加了系统级优化,如板级液冷、柜级密闭绝热等,功耗从4万千瓦降到736千瓦。由此可见,算力对能源与环境的友好性将越来越重要。
过去5年,通用CPU的发展遇到了一系列技术瓶颈,其单核性能平均每年提升不足10%,摩尔定律放缓已经成为事实。现在,我们有机会通过一系列的技术创新,打破能效墙、打破散热墙、打破优化墙、打破内存墙、打破高速IO墙,进一步释放计算潜能。我们认为,计算产业已进入架构创新的黄金时代。
为满足世界高速增长的算力需求,计算产业需要不断向前发展。我们认为,充裕、高性能、多样性、绿色、触手可及的算力将是智能社会发展的动力。
客户需求是华为发展的源动力,华为将在技术架构与工程实现上持续创新,我们在计算产业的追求是:为世界提供最强算力,让云无处不在,让智能无所不及。
为了实现这个追求,华为将打造“一云两翼、双引擎”的产业布局,构筑开放的产业生态。
双引擎指围绕“鲲鹏”与“昇腾”打造的两个基础芯片族,构筑异构的计算架构。
两翼指智能计算业务以及智能数据与存储业务。在智能计算领域,面向端、边、云,提供“鲲鹏+昇腾+x86+GPU”的多样性算力。在智能数据与存储领域,融合了存储、大数据、数据库、AI,围绕数据的全生命周期,让数据的每比特成本最优、让数据的每比特价值最大。
一云指华为云,通过全栈创新,提供安全可靠的混合云,成为生态伙伴的黑土地,为世界提供普惠算力。
开放的生态指通过硬件开放和软件开源,使能广大合作伙伴,形成一个开放的产业生态。
处理器是整个计算产业的基础,有“芯”才有力。
华为从2004年开始投资研发第一颗嵌入式处理芯片,历经15年,目前投入超过2万名工程师,形成了以“鲲鹏+昇腾”为核心的基础芯片族。
鲲鹏包括服务器和PC机芯片,鲲鹏920是业界首颗64核的数据中心处理器,性能比业界主流处理器高25%、内存带宽高60%;同时把CPU、桥片、网络和磁盘控制器“4合1”,是业界集成度最高的数据中心处理器。
昇腾包括训练和推理芯片,用于训练的昇腾910,半精度(FP16)算力达256 TFLOPS,是业界的2倍。用于推理的昇腾310,整型(INT8)算力16 TOPS,功耗仅8W。
存储控制器芯片,通过独特的磨损均衡算法,把SSD盘的寿命提高20%。智能网卡芯片,支持OVS、VxLAN、RoCE等多协议卸载,特别适合云化和低时延场景。智能管理芯片,实现智能的功耗和故障管理,是大型数据中心自动化管理的基础。
目前在计算架构中,华为是业界唯一同时拥有“CPU、NPU、存储控制、网络互连、智能管理”5大关键芯片的厂商。
我们将按照“量产一代、研发一代、规划一代”的节奏投资芯片。鲲鹏处理器从2007年走到现在已历时12年,鲲鹏920现在是第三代芯片。
鲲鹏+昇腾会持续演进,我们将按每年推出一代的节奏,持续提升竞争力,同时确保后向兼容,源源不断的推动整个计算产业向前发展。
下面我要介绍华为对鲲鹏计算产业的定位,我们的策略是通过“硬件开放、软件开源、使能合作伙伴”来推动计算产业更好地发展。
华为聚焦计算架构创新,处理器的研发,以及华为云的服务。
华为利用自己的硬件能力,对外提供主板、SSD、网卡、RAID卡、Atlas模组和板卡,优先支持合作伙伴发展服务器和PC等计算产品。TaiShan服务器,聚焦做高端和内部配套,在条件成熟的时候,华为可以停止TaiShan服务器的销售业务。
华为开源操作系统、数据库和AI计算框架,使能伙伴发展自己品牌的产品,并为开发者提供覆盖端、边、云的全场景开发框架。
华为不做应用,但免费支持主流应用和软件的迁移适配。
智能世界需要最强算力的产品。我们认为,最强算力的通用服务器需要具备至少64核、8个内存通道、PCIe 4.0、多合一SoC、xPU高速互联、100GE高速I/O等六个特征。
TaiShan系列服务器满足以上特性,是当前兼容Arm的最强算力的通用服务器。面向数据中心分布式演进需求以及边缘计算需求,华为提供了存储密集型、计算密集型、边缘计算等多款服务器产品。
华为在硬件方面有30多年的研发与制造经验,在主板研发上有长期积累,主板出货量累计超过10亿块。今天,我们将正式推出鲲鹏主板,并向合作伙伴全面开放。
华为鲲鹏主板采用多合一SoC、xPU高速互联、100GE高速I/O等关键技术。它不仅搭载了鲲鹏处理器,还内置了BMC芯片、BIOS软件。华为将开放主板接口规范和设备管理规范,提供整机参考设计指南,全面向伙伴开放华为的技术积累和实践经验。合作伙伴可以基于鲲鹏主板和整机参考设计指南,快速开发出自有品牌的服务器和台式机产品。
基于昇腾910和310 AI处理器,华为推出了全球最快的AI训练集群Atlas 900、AI训练服务器Atlas 800、智能小站Atlas 500、AI推理与训练卡Atlas 300和AI加速模块Atlas 200,完成了Atlas全系列产品布局,覆盖云、边、端全场景,面向训练和推理提供强劲算力。基于统一的达芬奇架构和全场景AI计算框架,可实现云边端协同,加速全行业的智能化再造。
Atlas 900:可扩展的AI集群架构,由数千颗昇腾910处理器组成,在ResNet-50测试中,以59.8秒的成绩位居全球第一,在同等精度下比第2名快15%。Atlas 900的强大算力,可广泛应用于科学研究、天文探索、石油勘探等领域。
Atlas 800:4U空间集成了8颗昇腾910 AI处理器,可提供2 PFLOPS的超强算力,算力密度是业界同类产品的2.5倍。Atlas 800仅重75千克,重量不到业界同类产品的一半,内置32个硬件解码器,每秒可完成16384张1080P图片解码,是业界主流产品处理能力的25倍,而且可以与训练并行处理。它还支持风冷和液冷散热,可满足企业数据中心和集群高密部署两类场景,单机能效比为业界同类产品的1.8倍。在华为松山湖的数据中心中,我们已经部署了采用全液冷散热的Atlas 800,单机柜的散热能力高达5万瓦。
Atlas 300:可提供256 TFLOPS的算力,是当前业界主流训练卡的2倍,每秒训练的图片数量从965张提升到1802张。它支持100G RoCE直出高速接口,可实现梯度参数和数据集并行传输,最高可降低70%的梯度同步时延,支撑集群训练时间缩短到秒级。
光有硬件产品还不够,我们认为,软硬协同才能发掘更大的潜能、释放更大的算力,尤其是操作系统和数据库。
华为从2010年开始研发服务器操作系统EulerOS,目前已在通信、存储、云等产品中广泛使用,部署超过10万套。它有2个主要创新点:
第一,三级智能调度技术。从内核、集群和Die三级实行智能调度,将不同的进程分配在最合适的核上,让应用获得最短时延、最大带宽,多进程的并发时延相比业界可缩短60%。
第二,智能自动优化技术。从驱动、内核、虚拟化、Lib库等多层次的应用感知与学习,可自动调优7000多个系统参数,让系统越用越快。例如,在Nginx测试中,Web服务性能提升了137%。
为使能合作伙伴快速开发出自己的操作系统,我宣布开源服务器操作系统。开源版本的名称为openEuler,我们将支持合作伙伴发行基于openEuler的商业版,支持各行业主流应用和软件迁移到基于openEuler的操作系统上。
我也很高兴的告诉大家,华为正在与深之度、中标麒麟、天津麒麟、中移苏研、普华等合作伙伴筹备开源社区,今年12月31日之前正式上线。
企业的关键应用都离不开数据库,数据库是鲲鹏计算产业的重要一环。在数据库领域,华为已进行10多年的研发,产品已广泛用于运营商、金融等核心场景。今年5月,华为正式发布了GaussDB数据库,它有2大特点:
第一,全球首款AI-Native数据库,具备AI-Native自调优能力,调优效果比DBA(数据库管理员)提升85%。
第二,全球首款基于鲲鹏的企业级数据库,能充分发挥鲲鹏的超并行计算能力,相比非鲲鹏系统,TPCH基准测试性能提升48%。
今天,我也很高兴地宣布,开源GaussDB OLTP单机版数据库。开源版本的名称为openGauss并将于2020年6月全面上线,可覆盖企业70%以上的数据库业务场景,我们支持合作伙伴发展自己品牌的数据库产品和应用。
前面我们介绍了AI算力、鲲鹏算力,软硬结合才能释放更大潜力,而云服务可以让算力触手可及。
今天,我宣布69款基于鲲鹏的云服务和43款基于昇腾的云服务正式上线。这些云服务,让大家能更好地体验鲲鹏和昇腾带来的强大算力。
华为云鲲鹏云服务:基于鲲鹏处理器多核、高并发的能力,并充分发挥软硬协同的优势,在原生应用场景,综合性能提升80%;在大数据场景,任务处理耗时降低35%。同时,提供100%基于鲲鹏处理器的私有云和混合云解决方案,在服务能力和生态上与华为云保持统一,确保跨云体验的一致性。
华为云昇腾云服务:基于昇腾,AI云服务器性能提升2倍以上,可广泛用于AI推理、AI训练、自动驾驶训练等场景。华为云通过全栈创新实现普惠AI,今天,我非常高兴的宣布,基于昇腾的图像搜索服务、内容审核服务,价格下调70%!这就是技术进步给大家带来的实实在在的好处。我希望,未来我们还将带给大家更多惊喜。同时,昇腾还带来更多价值,比如知识图谱服务利用多源知识融合技术,在石油领域帮助顶级专家效率提升70%以上;自动驾驶云服务利用超大规模集群能力可支持PB级数据的实时处理,端到端开发效率提升5倍以上。
华为一直坚持“自己的降落伞自己先跳”,鲲鹏与昇腾的相关产品,已经在华为的研发、内部IT、产品与解决方案、华为云、消费者云广泛使用。
华为已部署超过10万台鲲鹏与昇腾设备,覆盖从研发、生产、办公、交付到销售的全业务场景。
产品与解决方案中的网管系统,其服务器已经全部切换到鲲鹏平台。
华为云60%以上的场景,今年会切换到鲲鹏与昇腾平台。
华为消费者云,现在已经全部切换到鲲鹏平台。
围绕鲲鹏和昇腾,
为了让鲲鹏和昇腾能够更好地服务各行各业,我们需要健康的生态,我们将从以下四个方面努力:
以行业聚合应用:围绕各个行业,联合行业伙伴打造完整的产业生态链和具有竞争力的解决方案。
以区域整合产业:一枝独秀不是春,百花开放春满园。华为聚焦处理器和部件的开发,鲲鹏产业是业界共享的,欢迎各区域的伙伴根据自身特点打造本区域的鲲鹏产业。
以联盟孵化标准:联合绿色计算产业联盟、边缘计算产业联盟等组织,制定开放的软硬件标准体系,促进产业的健康发展。
以社区发展开发者:开发者是产业的灵魂,未来5年,我们将联合各社区和高校培养500万开发者,为计算产业注入活力。
此外,为了更好地支持生态发展,未来五年,华为计划投入15亿美金用于发展产业生态。
计算产业的发展,离不开产业伙伴们的共同努力。为了能更好的帮助鲲鹏计算产业的发展,今天华为还将与绿色计算产业联盟、中国电子技术标准化研究院、安谋科技(中国)、IDC以及产业伙伴共同发布《鲲鹏计算产业发展白皮书》。该白皮书从产业定位、前景展望、应用分析和发展规划等方面系统性地阐述了鲲鹏计算产业的发展大计。
我们预计,到2023年,整个计算产业生态体系在全球有近两万亿美元的市场空间,在中国则超过1.1万亿人民币。鲲鹏和昇腾就是树根,根深才能叶茂,我们将持续投入鲲鹏和昇腾的研发,与产业链上的伙伴们一起努力,让计算产业枝繁叶茂,共享数字世界的红利。谢谢大家!
一张图看懂华为“鲲鹏+昇腾”双引擎
华为张顺茂:与鲲鹏共展翅,昇腾九万里!
HUAWEI CONNECT 2019第三天,华为正式发布沃土计划2.0,宣布未来5年将投入15亿美金,全球发展五百万开发者,欢迎广大企业和个人开发者共同参与计算产业的生态发展。同时,首次发布了华为鲲鹏开发套件和昇腾AI系列第一本教材。
华为Cloud & AI产品与服务CTO张顺茂
发表主题演讲
前段时间在飞机上看了部电影“海王”,一句台词打动了我:you can even talk under water.有什么不可能的呢?什么都是可能的!尤其是在这个技术爆发的时代,我们的开发者们拥有了更强大的力量去改变这个世界,把更多的不可能变为可能,请看看我们的开发者们都干了些什么吧。
今年夏天,亚马逊森林的熊熊大火燃烧着地球的“肺”,牵动着亿万人们的心,怎么保护庞大的雨林不被滥砍滥伐,保护地球的“肺”?怎么保护动物的健康成长?Rainforest Connection雨林保护组织利用华为手机收集电锯、汽车和动物的声音,在华为云端通过大数据分析和AI处理就能实时监听雨林,给雨林带来“新声机”。
土地荒漠化是我们面临的严峻挑战!华东师范大学张新宇教授团队通过机器学习,使得AI机器人可在荒漠中判断需规避的植被和障碍物,自动完成挖洞、放苗和浇水,并且极大提高植被的成活率。这些机器人就像“绿色魔法师”,让荒漠逐渐变成绿洲。
垃圾分类是一项令人烦恼的日常工作。ABB的“超级拾荒者”机器人解决了这个烦恼。机器人会在移动的传送带上快速滑动,从垃圾中分拣出玻璃、塑料容器和其他可回收物品,然后把它们扔进不同的容器内。在分类过程中,机器人也会积累经验,变得越来越聪明,令分类准确度不断提升,越来越高效。
如何读懂古籍文卷中的文化密码?在数字中国创新大赛中,来自华南理工大学的学生们使用ModelArts训练了古文检测及识别模型,结合OCR服务解决了古文难以识别的问题。中文古籍识别准确率已超过98%。
我们年轻的工程师怎么能开发出这样惊艳的产品?将那么多“不可能”变成“可能”,从而让世界更美好,让每个人、每个家庭、每个组织更加美好。
华为硬核Kunpeng、Ascend双引擎为开发者提供了澎湃的动力,我们为开发者提供了最底层、最原始、最强劲的通用算力和AI算力,这种强大的算力就是大家能够展翅高飞的保障。进一步,我们将这种算力开源、开放出来,彻底开放,从OS到DB,从编译器到开发工具,从AI算子到AI开发平台,我们坚信,算力源头的开源开放是保障开发者蓬勃生机的唯一路径。
华为担纲建设基础软硬件
国家新一代人工智能开放创新平台
中国科技部在2019世界人工智能大会上宣布,华为担纲建设基础软硬件国家新一代人工智能开放创新平台。依托华为自研的芯片、板卡、基础算子库、基础框架软件,进行全栈优化,并提供全流程的、开放的基础平台类服务;使能云、边、端等各个场景、各个领域的应用创新;让各行各业、广大科研机构可以专注于自己的行业知识、研究领域,从而助力各行各业、广大科研机构来构建自己的AI应用与系统,加速普惠AI落地。
华为FusionPlant工业互联网平台入选
2019年跨行业跨领域工业互联网平台
今年工信部也公布了跨行业跨领域工业互联网平台清单,华为FusionPlant工业互联网平台入选。FusionPlant平台是华为基于30年ICT技术积累和制造经验打造的开放式平台。FusionPlant平台以华为云鲲鹏计算为基础,叠加华为人工智能,物联网等技术,构建工业领域的黑土地,与行业合作伙伴一起帮助企业上云上平台,实现企业的网络化、数字化、智能化,最终提质降本增效。
5G时代,海量移动智能终端应用正从端侧走向云化,如果终端APP迁移到x86服务器上,云和端计算架构不同,需通过指令翻译进行代码转换,通常存在40%左右的性能损耗。
华为云提供了鲲鹏原生云手机解决方案,使得从云到端都运行着同一套指令集,安卓应用云化时,性能无损失。Cocos等游戏平台正跟华为合作,将安卓游戏跑在华为鲲鹏云服务上,为用户带来更畅快的游戏体验,用户也不再依赖于高配智能终端。华为云手机加速了华为新手机产品的研发,鲲鹏云测试平台替代了真机农场,80%测试用例自动化完成,测试回归效率提升1倍。
信息安全已经成为人们关注的热点,HTTPS流量已经超过全球web流量的90%,怎么提升加解密的性能?目前x86服务器通常采用PCIe加密卡方式进行加速,而鲲鹏CPU采用了内置加解密引擎,片上总线互联,京东数科的web应用HTTPS短连接实测性能提升了45%。
未来的计算将无处不在,智能将无所不及,开发者怎么才能开发一次软件就能端边云全场景部署?华为构建了覆盖端边云全场景的解决方案, 让开发者“一次开发、全场景部署”:
统一运行环境和指令集,端边云都同时支持鲲鹏通用计算和昇腾AI计算;
华为主导贡献了开源社区KubeEdge,可以在边缘运行与云端Kebernetes同架构但轻量级的容器;
端边云的智能计算都是基于统一的达芬奇架构,云端或者边缘训练的模型都可大可小,自由流动。
端边云计算协同在智慧金融、智慧零售、智能电网、高速公路自由流等场景中已经得到了广泛的应用。
JAVA/Python等解释性的软件无需修改源代码,只需安装运行ARM版本JVM即可。C/C++,GO语言的软件需要用鲲鹏编译器重新编译,也可能需要修改部分代码,通过调优可以提高性能。如果是汇编语言,则需要重新编写;或者无代码的应用,则可以通过指令翻译完成软件的移植。
为了支持开发者在鲲鹏计算平台上简单,高效地进行软件开发或迁移,今天我们正式发布华为鲲鹏开发套件,包含编译器和三个工具共四个组件。
为开发者提供云上软件开发平台
华为云DevCloud为开发者提供全流程的软件开发工具,方便开发者在云上构建基于鲲鹏计算平台的软件。
鲲鹏开发套件的编译器,已经集成在DevCloud,开发者使用DevCloud即可编译出能在鲲鹏平台上运行的软件,编译过程中,DevCloud可以自动从华为开源镜像站获取最新的软件包和依赖库,构建完成后,开发者可使用DevCloud将软件自动部署到华为云鲲鹏ECS或容器等云服务上。
DevCloud还提供提供可视化、可定制的自动交付流水线,帮助开发者将需求、开发、构建、部署、测试全流程串起来,缩短软件交付周期。
华为众多开源项目托管在DevCloud的CodeHub上,在此我呼吁广大开发者能积极参与这些开源项目,大家一共建鲲鹏生态。
AI已经是个热门技术,正在应用于各行各业,能够帮助我们解决以前不能解决的问题,或者更高效的解决问题,产生巨大的价值。
但是,目前AI技术复杂,人才短缺,算力稀缺,昂贵,如何让广大的开发者们会用、好用、善用AI,而且像用水、用电一样用得到、用得起AI?华为云普惠AI致敬广大的开发者,无论你是AI小白还是资深玩家都可以得到友好的支持和服务。
对于没有任何AI开发经验的小白用户,ModelArts的自动学习技术可以让小白用户三步轻松完成开发:
比如上传图片数据到训练数据集,并简单标注数据,工人是否戴了安全帽;
一键启动AI模型训练,系统自动选择网络结构,并自动训练生成模型;
训练完成后,点击部署上线,模型即可运行提供服务,再输入一张图片,系统即可告诉你工人是否戴了安全帽。
为了帮助AI工程师高效开发高性能的AI应用,昇腾提供了自研的Mindspore计算框架,同时也支持Tensorflow、Pytorch等主流框架,内置丰富的算子库和模型算法,你可以自主选择匹配业务需求的模型,为了提高计算效率,你可以调整卷积算子Conv、拼接算子Concat的I/O通道,也可以选择融合算子(Conv+Bn+Scale+Relu),还可以优化特征图和步长的大小,优化超参配置。
基于全球最快的AI训练集群Atlas 900,可广泛应用于科学研究与商业创新,让研究人员更快的进行图像、语音等 AI 模型训练。
如果在神经网络模型构建时,框架中提供的预制标准算子库无法满足需求或者性能要求,资深AI开发者就可以基于昇腾的TBE张量加速引擎自定义新的算子,包括编写算子计算逻辑,数据形状切分,数据流的规则,内存分配,以及矩阵、向量等计算单元的分配。
通过高效算子开发,深度玩家可以更灵活,更快速的进行AI技术创新和科研探索,创造新型的神经网络和创建特定领域的AI框架。
2015年在华为第一届开发者大会上,华为发布了“沃土计划”,5年投资10亿美金,使能并帮助全球开发者基于华为开源开放的产品和服务进行技术与商业创新。
1、在过去的5年里,我们逐步开源开放了华为的CT产品,IT产品,云服务,昇腾AI计算,鲲鹏计算能力等等;
2、在全球建立了21个OpenLab;
3、在华为官网和华为云服务上开通了开发者社区,华为云学院;
4、线下每个月都有城市峰会、技术沙龙、开发者大赛;
5、每天都有华为技术认证和人才认证。
今天,我很高兴看到,我们已经有130万注册开发人员,有14000多家企业开发者伙伴正在华为黑土地上进行产品与方案创新,共同为客户创造价值!
下一个5年,华为沃土计划2.0将从5大方面进行升级:
1、产品方面将重点基于鲲鹏+昇腾两颗核心处理器,打造开源开放的计算产业生态,从OS到DB,从产品服务到开发工具链都将逐步建立更广泛的开源开放社区;
2、打造360度的全方位赋能体系,从华为云线上社区,到线下OpenLab、城市站开发者沙龙,甚至驻场贴身服务,我们将让开发者体验到华为的支持无处不在;为开发者打造一个有温度、有内涵、有智慧的“家”;
3、我们将建立更务实的产业联盟,推动产业标准,规范,示范点,技术认证体系的建设,共同做大蛋糕;
4、我们将按行业建设应用生态,按区域建设产业生态;
5、我们将进一步与教育、科研机构合作,让每个学生都能学到鲲鹏和昇腾计算技术,让每个科研机构都能加持最强的算力。
比如,面向高校学生,我们将陆续发布华为智能计算技术系列丛书,作为学生选修教材:包括鲲鹏通用处理器系列和昇腾AI处理器系列和云原生软件开发方法系列。
今天,我们将正式发布昇腾AI系列第一本教材,感谢本书的作者梁教授上台亲自为大家介绍一下《昇腾AI处理器架构与编程》这本书。
沃土计划2.0将继续在LEADS理念的指导下(Lab as Service、End-to-End、Agile、Dedicated、Social),针对开发者开发历程的了解、学习、构建、上市这四个阶段,优化我们的流程、社区、资源配置等,使开发者在华为平台上更高效地成长。我们也将围绕开发者学习、产品构建、产品上市三个阶段,分别设立LGF(学习成长基金)、PDF(产品开发基金)、MDF(市场发展基金)三类基金。开发者的每一步成长,每一个阶段,我们都伴随在你的身边,给予你及时的支持。
沃土计划2.0,还将把开发者细分为四类:高校科研机构、个人开发者、初创企业、企业开发者,针对每类开发者我们都会有更贴心的使能与支持计划,比如学校将会享受到免费的学习券及更优惠的设备支持等。
沃土计划2.0提供的扶持资源包括:鲲鹏开发样机、昇腾训练卡、云服务代金券,OpenLab,培训与认证服务,开发者大赛,ISV应用迁移技术支持,华为FAE开发支持服务,华为认证,ISV营销活动与样板点支持等。
华为还将通过开发者沙龙、产业对接会、华为云市场、产业创新中心、沃土工场,营销活动等多种手段,为开发者对接客户、伙伴资源,努力建设一个多样性、有活力、共生共荣的生态网络,使每一个加入华为生态平台的开发者,不仅能获得技术能量、实现创新,还能找到朋友、发现商机,将梦想从不可能变成可能!
下面,将有请高校、合作伙伴以及开发者代表上台,共同发布“沃土计划2.0”!未来五年,公司已经决定投入15亿美金,全球发展500万开发者,切实落实沃土计划2.0!助力我们的开发者与鲲鹏共展翅,昇腾九万里!
一张图全解华为沃土计划
《崛起的超级智能》一书主要阐述当今天人类为人工智能的春天到来而兴奋,为人工智能是否超越人类而恐慌的时候,一个更为庞大、远超人类预期的智能形态正在崛起,种种迹象表明50年来,互联网正在从网状结构进化成为类脑模型,数十亿人类智慧与数百亿机器智能通过互联网大脑结构,正在形成自然界前所未有的超级智能形式。这个新的超级智能的崛起正在对人类的科技,产业、经济,军事,国家竞争产生重要而深远的影响。
作者:刘锋 推荐专家:张亚勤、刘慈欣、周鸿祎、王飞跃、约翰、翰兹
未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”