华为庞鑫:闪存3.0时代,四大变化激发全闪存数据中心潜能释放

从2005年到2019年间,中国数字经济总体规模由2.6万亿元增加至35.8万亿元,数字经济在GDP的占比也由14.2%提升至36.2%。随着数字经济蓬勃发展,数据也成为当之无愧的关键生产要素,是基础性资源和战略性资源。数据洪流的到来进一步驱动了数据价值链的成熟,进而驱动企业的决策和创新,获取数字红利。数据中心作为数据的载体,承担着数据资源集中存储、计算、交换的功能,转型升级迫在眉睫。

4月13日,在2021华为全球分析师大会上,华为数据存储与机器视觉营销工程部总裁庞鑫向全行业解读了华为对存储产业以及全闪存数据中心的理解与洞察。

全闪存市场是刚需,但当前全球全闪存市场占比仍然很低

庞鑫表示,全闪存凭借出色的性能优势和绿色节能已经成为市场刚需。在性能方面,从IOPS、低延时、吞吐量三个常用的存储性能指标来看,闪存SSD在性能上远超机械硬盘HDD。闪存具有高的IOPS,一个SSD的IOPS可达数万次之多,而一个HDD的IOPS只能达到几百次,这表明需要许多HDD才能达到一个SSD的性能。同时闪存还具有低延迟(常以毫秒或微秒为度量单位)性能和大吞吐量。

在耗能方面,数据中心已经成为事实上的耗电大户。目前全球数据中心的耗电大约占据全球每年总用电量的2%-3%,电费在数据中心运营成本中占比超过50%。而在国内,全国数据中心的耗电量已连续八年以超过12%的速度增长,未来占社会总用电量的比例将持续增长。相对于HDD,在相同的容量下,SSD的电力能耗降低70%,空间占用节省50%,不仅能大幅降低数据中心的TCO总成本,并且能有效推进数据中心低碳运转。

虽然闪存在性能及绿色节能上优势明显,但是当前闪存在存储市场的占比仍然不高。数据显示,全球存储市场闪存占比43.7%,在中国市场这一数字仅为24.7%。加速闪存替代机械硬盘已经势在必行。

四大变化,将全面激发全闪存数据中心潜能释放

对于过去十年闪存存储产业的发展,庞鑫将其总结为2010~2015年闪存1.0时代,2015~2020年闪存2.0时代,未来5年,将迈入闪存3.0时代。在闪存1.0时代,仅关注性能,主要通过高性能硬件实现,全闪存作为存储系统的加速层,软件特性非常缺乏,价格昂贵。在闪存2.0时代,闪存开始进入主存储系统,通过系统化设计,提供丰富企业特性,同时通过数据缩减技术不断降低闪存存储成本,全闪存进入快速发展期。进入闪存3.0时代,四大变化将全面激发全闪存数据中心潜能释放,进一步提升端到端性能,并实现绿色节能、安全可靠。

第一个变化是全场景闪存普惠。全闪存将从之前只用于核心数据存储,比如金融核心、运营商计费系统,越来越多地走向全行业、全场景,比如超算、大数据场景也逐渐开始使用性能好、耗能低的全闪存存储。

第二个变化是全场景数据保护。随着全闪存应用场景不断演进,数据全生命周期保护出现新的要求,包括保护等级的变化、保护对象的变化、保护性能的变化以及保护规模的变化。保护等级上,以银行为例,资产规模千亿以下时要求建立同城灾备,当总资产规模超过千亿,就需要建立两地三中心灾备。保护对象上,以前是结构化数据保护,现在需要同时保护结构化和非结构化数据。比如医院HIS系统是结构化数据,而PACS影像是非结构化数据,要求保存10年以上,并且至少3年在线,可供快速调阅和诊断使用。保护性能上,灾备的冷数据需要能变成温热数据,发挥数据的价值。保护规模上,数据从PB级增长到EB级。比如L4级自动驾驶数据,每车每天路测数据达60TB,是L2级的50倍。

第三个变化是多元融合管理。从传统的烟囱式建设到全闪存整合,形成PB级资源池,这就需要存储系统具备多元融合管理的能力。

第四个变化是高速网络联接。未来的存储网络需要用NVMe协议来替代SCSI协议,让全闪存最大程度释放性能潜力。

全闪存数据中心四大能力引领未来建设

在庞鑫看来,建设全闪存数据中心,不仅仅是对介质进行升级,同时也是将数据中心资源进行整合,架构进行重构,以应对未来业务多样性的需求。华为通过提供全场景闪存化、全场景数据保护、全生命周期自动化运维管理以及全IP数据中心网络四大能力实现数据中心效率更高、安全等级更高、运维更智能、网络无瓶颈、绿色低成本的目标。

1. 全场景闪存化,绿色节能,迈向碳中和

全场景闪存化是指多类型的数据负载均应通过闪存存储进行业务加速,除了主存的全闪化替代之外,华为建议存储灾备系统也应加大闪存配比,让灾备数据快取快用,实现存储容灾的常态化和备份存储的生产化能力。

在主存上,借助最新的SCM介质,可以对热数据进一步加速,时延低至亚毫秒级;在备份上,通过闪存加速,有效提升备份系统性能,将原来的备份时间由小时级缩短为分钟级,确保备份数据即时可用;在归档上,SSD作为归档缓存提供高访问性能,归档数据访问时间从小时级降低到分钟级。

华为还致力于领先数据缩减算法研究,实现有限的空间能存放更多的数据,加速闪存普惠。华为在全球数学圣地法国巴黎和俄罗斯莫斯科,分别建立了算法研究中心,将数据的缩减做到极致。去年华为举办的全球数据压缩大赛,里面有不少算法就开始应用到华为全闪存存储产品上。

2. 全场景数据保护,保护对象更广、业务响应更快、留存时间更久

随着数据量越来越多,数据越来越重要,更大规模和更多类型的数据需要保护,数据灾备速度、恢复速度、副本使用频度、乃至留存时间,都需要大幅的提升。

从保护对象的角度来看,灾备数据的范围变大,从核心到通用到一般,从生产核心扩大到开发测试、分析训练、视频监控,从结构化数据扩大到非结构化数据。这一趋势导致灾备数据量迅速变大,但备份窗口不变或变小。数据灾备的等级需要提升,从本地的双活/主备容灾,到异地3DC,再到灾备上云,进行全方位的数据保护。同时备份数据需要立即可用,不需要数据恢复到生产设备后再使用。在数据留存方面,数据合规通常要求重要数据留存30年以上,同时具备防删改、防病毒,适应较为宽泛的机房环境。

3. 全生命周期自动化运维管理,提升运维效率

全闪存的普及将加速数据资源池化,而数据池化加剧了数据中心运维的难度,华为全闪存数据中心具备全生命周期自动化运维的能力,即在规划、建设、运维、优化的各个阶段,均具备自动化智能化的能力。

在规划阶段从关注设备到关注数据的全生命周期,实现精准规划;在建设阶段实现从人工到自动化,核心是全局资源发放;在运维阶段变被动巡检为主动发现,实现全栈智能运维;在优化阶段变依赖专家经验为智能算法自治,达到资源配置敏捷优化。

4. 全IP数据中心网络,最大化释放闪存性能潜力

全场景闪存化也推动了数据中心的网络改革,NVMe最大化释放了SSD介质的能力,更快的介质和协议呼唤更快的网络。NoF(NVMe over Fabric)存储网络应运而生,通过使用IP网络进行对专用网络的创新性革新,实现了更快吞吐带宽和更低时延,同时也兼具IP易管理优势,是更好地实现端到端NVMe存储网络的最佳方案,NoF方案也是目前业界最主流的趋势。  

基于当下业界主流标准NoF方案,华为又依托在网络和存储领域的深厚积累,从可靠性、性能、易用性上对其进行提升,基于智能无损网络面向华为OceanStor存储提出了NoF+方案,将下一代数据中心存储网络推向更广阔的发展空间。

在演讲最后,庞鑫表示,包含了OceanStor全闪存、OceanProtect数据保护、DME全生命周期智能运维、NoF+高速存储网络在内的华为全闪存数据中心解决方案,是打造未来安全高效、绿色节能数据中心行之有效的方法。全闪存数据中心必将在未来大展身手,推动社会经济生产迈向新征程。


2020-2021中国开发者调查报告重磅来袭,直接扫码或微信搜索「CSDN」公众号,后台回复关键词「开发者」,快速获取完整的报告内容!


更多精彩推荐
☞如何部署一个Kubernetes集群☞继云计算巨头失火后,微软决定送数据中心去“泡澡”!☞走过 30 年:银行数据库的下一步是国产化
点分享点收藏点点赞点在看

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/515208.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于RabbitMQ订单未支付30分钟自动取消

文章目录一、原理实现1. 超时消费流程图2. 死信队列的架构原理3. 订单超时30分钟实现原理二、核心代码实战2.1. 记录订单待支付数据2.2. 超时消费者监听2.3. 订单核对校验一、原理实现 1. 超时消费流程图 2. 死信队列的架构原理 相同点: 死信队列和普通队列区别不…

蚂蚁mPaaS:有人修建高楼,有人重构城市

简介: 纵览这时代的先声,在高楼之巅,在海天之外。 2018年2月,春运拉开序幕。 这是人类史上最大规模的迁徙活动,3.82亿人坐进车厢,被31万趟车次送往不同的目的地。如果有一台摄影机从高空对准中国大地&…

全场景闪存加速、全场景数据保护,华为助力医院实现智能化转型

数字经济时代的来临,是影响当今医疗健康服务领域最重要的大趋势。在这种大背景下,新时期的智能医疗必将在医疗行业内掀起一阵浪潮。2020年,新冠疫情的肆虐势必推进浪潮的提前到来。 首都医科大学附属北京同仁医院,始建于1886年&a…

从Cloudflare事件,看DNS服务的重要性

简介: 美国时间7月17日,美国知名的网络安全服务提供商Cloudflare,出现了突发网络服务故障。通过这个事件,和大家聊聊关于网络安全稳定的思考,以及稳定、安全的DNS服务的重要性。 7.17事件 美国时间7月17日下午&#…

基于Redis订单未支付30分钟自动取消

文章目录一、原理实现1. 超时消费流程图2. 订单超时30分钟实现原理二、核心代码实战2.1. 记录订单待支付数据2.2. redis配置2.3. 超时消费者监听一、原理实现 1. 超时消费流程图 2. 订单超时30分钟实现原理 ①用户下单之后,投递一个订单号码存放到redis服务端&…

面向 K8s 设计误区

作者 | 姬望来源 | 阿里巴巴中间件头图 | 下载于视觉中国K8s 设计模式Kubernetes 是一个具有普遍意义的容器编排工具,它提供了一套基于容器构建分布式系统的基础依赖,其意义等同于 Linux 在操作系统中的地位,可以认为是分布式的操作系统。自定…

阿里研究员谷朴:警惕软件复杂度困局

**简介:** 对于大型的软件系统如互联网分布式应用或企业级软件,为何我们常常会陷入复杂度陷阱?如何识别复杂度增长的因素?在代码开发以及演进的过程中需要遵循哪些原则?本文将分享阿里研究员谷朴关于软件复杂度的思考&…

安装docker-compose插件

文章目录一、安装docker-compose插件1. 下载docker-compose插件2. 赋予权限3. 验证一、安装docker-compose插件 1. 下载docker-compose插件 curl -L https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/…

突围数字化转型,让特步同比增长24.8%的全渠道中台

简介: 多年前,曾有媒体向丁水波提问:“对于你个人来说,转型过程中最痛苦的部分是什么?”“最关键的是市场意识的转变。耳听为虚眼见为实,做起来给外界看到了,他们才会明白和接受。很多东西得做完…

赠书 | 什么是 Knative?

作者 | 李志伟、游杨来源 | 华章计算机头图 | 下载于视觉中国✎ 导读 什么是Knative?本文将对Knative的产生背景及发展历程,架构设计,受众群体等做详细介绍。Knative是由谷歌发起,有Pivotal、IBM、Red Hat等公司共同参与开发的Ser…

canal kafka 实现mysql与es/redis 数据同步

文章目录一、原理实现1. 方案设计流程图2. 实现原理二、mysql开启binlog模式2.1. 配置my.ini2.2. 重启mysql服务2.3. 验证binlog模式2.4. 创建canal账号2.5. 账号验证三、docker-compose环境搭建3.1. 环境总览3.2. 编写docker-compose.yml3.3. 安装docker-compose3.4. 构建环境…

免费下载!《阿里工程师的自我修养》公开10位阿里大牛解决问题的思维方式

简介: 今天,阿里技术公布一波阿里P8、P9技术大牛的思维模型,将他们的思维模式呈现出来。你可以在阿里资深专家职业生涯的真切感悟中,找到应对危机的最佳方法。《阿里工程师的自我修养》现已正式公开,可免费下载阅读。 …

云原生时代消息中间件的演进路线

简介: 本文整理自作者于 2020 年云原生微服务大会上的分享《云原生时代的消息中间件演进》,主要探讨了传统的消息中间件如何持续进化为云原生的消息服务。 作者 | 周礼(不铭) 阿里巴巴集团消息中间件架构师 导读:本文…

linux抓包命令tcpdump

参考博客 linux抓包命令tcpdump

四大“化学融合”、两大核心平台能力,华为首次系统解读OneStorage

4月14日,在2021华为全球分析师大会期间,华为举办数据存储专场Session,面向全球分析师全面解读下一代数据存储解决方案OneStorage,引领数据存储产业迈向全场景智能和多云融合。同时,在此期间华为首次向业界系统性地诠释…

科普|不同协议下远程服务器文件上传_下载优劣对比

简介: 作为一个程序员,如果不知道如何进行远程服务器的文件上传与下载,实在是一件尴尬的事情,今天我们聊聊如何实现远程服务器的文件上传与下载。 作为一个程序员,如果不知道如何进行远程服务器的文件上传与下载&#…

Module build failed: Error: Cannot find module ‘gifsicle‘

问题描述: build Cannot find module ‘gifsicle’ 解决方案: 第一步:卸载image-webpack-loader 第1种方式:删除项目中的image-webpack-loader npm uninstall image-webpack-loader第2种方式:删除node_modules中的im…

高德AR驾车导航解决方案

简介: 高德从2018年首创了车载AR导航后,已经先后在后视镜、智能车盒、前装整车厂、后装车机产品、行车记录仪等众多场景落地应用,搭建了非常完整的AR导航生态。 日前,高德地图最新发布了v10.60新版本,上线了手机端的A…

第 11 个“世界备份日”刚过,《Veeam 2021 数据保护报告》为你解读全球数据备份现状

2011 年 3 月 31 日,美国网络社区 Reddit 发起“世界备份日(World Backup Day)”倡议活动,号召人们做好数据安全备份。于是每年愚人节前一天成为“世界备份日”,口号很有趣 Don’t Be An April Fool,Backup Your Data&…

oracle 查询当天数据 上一天的数据

查询当天数据量 select count(*) from 表名 b where b.reqdate to_date(to_char(sysdate,YYYY-MM-DD),YYYY-MM-DD) 查询上一天数据量 select count(*) from 表名 b where b.reqdate to_date(to_char(sysdate-1,YYYY-MM-DD),YYYY-MM-DD)