新型数据中心需要什么样的存储

作者:浪潮信息首席架构师 叶毓睿

智算时代的序幕已经拉开,互联的万物,一切皆计算机。智慧计算融入到千行万业的图景,正在徐徐铺开。这是一个数据成为生产要素的时代,智慧计算将劳动者由人变成了人+AI,将数据变成了一种新的生产资料,将计算力驱动的信息化设备变成了生产工具。

智算时代,算力供应呈现多元化发展趋势,包括科学计算、关键计算、云计算、AI计算等,支持这些多元、异构的计算,需要新型数据中心。

工信部在《新型数据中心发展三年行动计划(2021-2023年)》对新型数据中心的定义是:以支撑经济社会数字转型、智能升级、融合创新为导向,以5G、工业互联网、云计算、人工智能等应用需求为牵引,汇聚多元数据资源、运用绿色低碳技术、具备安全可靠能力、提供高效算力服务、赋能千行百业应用的新型基础设施,具有高技术、高算力、高能效、高安全特征。并明确指出:引导新型数据中心集约化、高密化、智能化建设,加快高性能、智能计算中心部署。

先以AI计算为例。2018年5月,一篇著名的OpenAI博客分析,自 2012 年以来,AI算力需求总增长约30万倍(如下图),也即3.4月翻一倍(相比之下,摩尔定律约每两年翻倍,总增长约7倍)。

迅猛增长的AI算力需求,对底层IT基础设施,包括存储提出了新的挑战。

再以云计算为例。国内最大的云计算公司阿里云,在2020年的双11当天零点零分26秒,迎来流量洪峰,订单创建峰值达58.3万笔/秒(也即TPSTransaction Per Second,代表每秒执行的事务数)。

阿里云2016年以来,双11支付峰值(TPS)

相信这么高的性能需求,会对与之相关的电商、银行、物流等上下游的企业造成很大的压力。例如2017年双11,农业银行核心系统全天交易量4.49亿笔。其实,无论云计算,还是边缘计算等,都已经或将要和私有云或者数据中心的业务系统打通,实现数据的处理、流动和共享,为全产业链联动,提供及时交付和响应。另外,无论是AI计算、科学计算,还是万物互联带来的计算,都已经或将要实现从非结构化数据到结构化数据的转换,以及终端(含手机、车载大屏等)的可视化呈现,为个人或组织提供参考和决策依据;在这个过程中,转换后结构化数据的数据处理、安全,和再在线(类似从AI训练到推理,如抓捕逃犯),离不开为关键计算提供支撑的IT基础设施,如集中式存储。

当我们关注存储性能时,通常有IOPS(每秒IO个数)和延时(处理IO所需时间,通常以毫秒,也即ms为单位)两大指标。上面双11所述的TPS是每秒交易数,是从业务视角来观察性能的,通常一个订单的操作会联动多个数据库的增删改查操作,导致多个存储IO的读写操作。不过,需要注意的是,不同业务TPS带动的IO数有时相差很大。

我们再来看关键计算的几个例子。为了追求极致的性能,有些行业用户无所不用其极。

Spread Networks 大概从 2010 年开始,花费 3 亿美元挖通修建了一条横穿阿巴拉契亚山脉的光缆隧道,目的是让光缆不用绕道,将数据传输时间缩短大约3毫秒。

2013 年,一组破冰队伍和特制的极地冰山电缆铺设船将开始建造第一艘跨北极海底光缆。其中两条名为 “Artic Fibre”和 “Arctic Link” 的光缆将跨过加拿大北极群岛的西北通道。第三条类似走向的海底光缆,俄罗斯跨北极海底光缆(ROTACS)将会围绕北欧北部的斯堪的纳维亚半岛和俄罗斯进行铺设。通过这三条海底光缆,全球两大金融交易中心英国伦敦和日本东京将几乎得以直连,相比现有方案节省近8000公里,两地间的数据传输时间也从大约0.23秒减少至0.17秒,这项工程耗资大约15亿美元。

2017年彭博社报道,Jump Trading公司在芝加哥商品交易所数据中心对面,花了1400万美元买了一块12万平方米的空地(如下图),并架设了微波通信基站,仅仅为了节省0.07毫秒时间。众所周知,眨眼常被形容快,它的时间约0.4秒;而Jump Trading花费巨资,只是为了快5700分之一眨眼的时间。

http://img.mp.itc.cn/upload/20170522/b34ee26e881b4b17bc0ab8abc0d47515_th.jpg

Jump Trading花费巨资1400万美元,仅为节省0.07毫秒

可想而知,在一些行业的某些特定应用上,为了追求高性能、低延迟,用户愿意不惜代价。笔者曾服务过的一个国内部委用户,仅仅为了缩短几毫秒的延时,数年下来,已经投入了数亿元人民币在集中式存储上。

就像人类在奥运会上所展现的精神一样,追求更快、更高、更强是永恒不变的动力,存储性能竞赛也是如此。

2021年6月,全球存储性能委员会(Storage Performance Council,简称SPC)公布了新的SPC-1基准评测报告,浪潮分布式存储AS13000G5以630万IOPS(每秒读写操作的次数)、0.5ms时延的评测值,刷新了分布式存储性能全球最优成绩。这是继浪潮存储在“统一存储”赛道夺得16控、8控、单位成本性能世界冠军之后,在“分布式存储”领域实现新突破,成为存储全球性能领跑者。

2021年8月,SPC公布了最新SPC-1基准评测榜单,浪潮存储高端全闪HF18000G5获得2300万IOPS(每秒读写操作次数)、不超过0.3ms延时的评测值,位列性能总榜全球第一,如下图。

2021年8月,浪潮高端全闪夺得性能总榜全球第一

浪潮存储的优异性能表现,对智算时代中的科学计算、云计算、AI计算,如核心交易用到的数据库,以及OLAP、邮件系统、虚拟化、AI等业务的存储系统选型具有极高的参考价值。浪潮存储会在集中式全闪、分布式全闪新存储领域持续投入,以性能全面碾压、技术实力领先、市场增速领跑的强大产品和市场竞争力加速企业数字化转型,形成全球存储新势力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/514277.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

王者荣耀服务器未响应8月5日苹果,王者荣耀:世冠小组赛8月5日前瞻预测

14:00 深圳DYG vs GOG深圳DYG在上周的比赛遭遇两连败,目前排在A组倒数第二位。队伍进行人员轮换后,Giao在比赛中的发挥可圈可点,但其他队员的状态都下滑明显。辅助位星宇从春季赛的状态就一般,到本次世冠仍然没有提升,…

多中心容灾实践:如何实现真正的异地多活?

简介: 在异地多活的实现上,数据能够在三个及以上中心间进行双向同步,才是解决真正异地多活的核心技术所在。本文基于三中心且跨海外的场景,分享一种多中心容灾架构及实现方式,介绍几种分布式ID生成算法,以及…

HBM3内存子系统传输速率惊人,带宽突破1TB/S!

记者 | 邓晓娟 8月25日,内存IP厂商Rambus推出HBM3内存接口子系统。内含完全集成的PHY和数字控制器,传输速率达8.4Gbps;可为AI/ML和高性能计算(HPC)等应用和解决方案提供1TB/s的带宽速率;采用标准的16通道设…

android 如何读取cgi_Python基础教程(十):CGI编程、MySQL数据库

Python CGI编程什么是CGICGI 目前由NCSA维护,NCSA定义CGI如下:CGI(Common Gateway Interface),通用网关接口,它是一段程序,运行在服务器上如:HTTP服务器,提供同客户端HTML页面的接口。网页浏览为了更好的了解CGI是如何工作的&…

10亿+文件数压测,阿里云JindoFS轻松应对

简介: Apache Hadoop FileSystem (HDFS) 是被广为使用的大数据存储方案,其核心元数据服务 NameNode 将全部元数据存放在内存中,因此所能承载的元数据规模受限于内存,单个实例所能支撑的文件个数大约 4亿。JindoFS块模式是阿里云基…

一文简单弄懂tensorflow_在tensorflow中设置梯度衰减

我是从keras入门深度学习的,第一个用的demo是keras实现的yolov3,代码很好懂(其实也不是很好懂,第一次也搞了很久才弄懂) 然后是做的车牌识别,用了tiny-yolo来检测车牌位置,当时训练有4w张图片&a…

打破“单点防护”缺陷,山石网科发布“云网端”XDR解决方案

编辑 | 宋 慧 供稿 | 山石网科 出品 | CSDN云计算 近年来,CISO面临的安全形势可谓“内忧外患”,对内面临多样化的网络接入途径、庞大且繁杂的IT资产;对外面临攻防关系、攻防手段、网络攻击的数量等呈指数级增长等问题,给组织的…

Serverless 场景下 Pod 创建效率优化

简介: 众所周知,Kubernetes 是云原生领域的基石,作为容器编排的基础设施,被广泛应用在 Serverless 领域。弹性能力是 Serverless 领域的核心竞争力,本次分享将重点介绍基于 Kubernetes 的 Serverless 服务中&#xff0…

安装wordcloud_COVID19数据分析实战:WordCloud 词云分析

↑↑点击上方蓝字,回复资料,N个G的惊喜前言上一篇文章(链接)我们对COVID19_line_list数据集进行了清洗以及初步分析。本文中我们将分析如何用词云来展示文本信息的概要。比如我们从词云百度百科截取文字,制作词云。简单来说,词云就…

到达率99.9%:闲鱼消息在高速上换引擎(集大成)

简介: 记录这一年闲鱼消息的优化之路 1. 背景 在2020年年初的时候接手了闲鱼的消息,当时的消息存在各种问题,网上的舆情也是接连不断:“闲鱼消息经常丢失”、“消息用户头像乱了”、“订单状态不对”(相信现在看文章的…

1小时打造HaaS版小小蛮驴智能车

1、认识一下小小蛮驴真面目 1.1、组件部分 HaaS100核心板 HaaS100是一款物联网场景中的标准硬件,并配套嵌入到硬件中的软件驱动及功能模块,为用户提供物联网设备高效开发服务。 HaaS100核心板有着丰富的外设接口,如下所示: 智…

Spring Boot Admin 集成诊断利器 Arthas 实践

简介: Arthas 是 Alibaba 开源的 Java 诊断工具,具有实时查看系统的运行状况;查看函数调用参数、返回值和异常;在线热更新代码;秒解决类冲突问题;定位类加载路径;生成热点;通过网页诊…

设计方案,拿来吧你!

作者:零一来源:前端印象前言大家好,我是零一,今天要跟大家聊聊开发流程中不起眼的环节——设计方案。你们可能没听过,也可能只是简单得走过过场,别划走,这非常重要!在字节&#xff0…

借力阿里云存储产品 延锋彼欧加速数字化重塑

简介: 延锋彼欧作为汽车外饰件生产的领航企业,通过基于业务和数据驱动的数字化管理,释放工业设备数据潜能提升产能。依托阿里云“稳定、安全、可靠、易用”的存储服务,延锋彼欧的发展步伐将更为稳健。 “一日骋千里,无…

英雄帖!移动云首批最有价值专家(MVP)招募开始了!

这是开发者的时代,这是价值重塑的时代。站在科技的潮头,我们期待去引领、去挖掘、去创造……移动云已迎来飞速发展的黄金期,移动云开发者社区将成为业界优秀开发者的聚集地。今天,移动云开发者社区正式开启移动云MVP首批招募&…

无责任畅想:云原生中间件的下一站

简介: 本文源自 2020 年 12 月 20 日作者在云原生社区 meetup 第二期北京站演讲 《Apache Dubbo-go 在云原生时代的实践与探索》的部分内容 自从以 2013 年开源的 docker 为代表的的容器技术和以 2014 年开源的 K8s 为代表的容器编排技术登上舞台之后,相…

深度剖析:Redis 分布式锁到底安全吗?看完这篇文章彻底懂了!

作者 | Kaito 来源 | 水滴与银弹阅读本文大约需要 20 分钟。大家好,我是 Kaito。这篇文章我想和你聊一聊,关于 Redis 分布式锁的「安全性」问题。Redis 分布式锁的话题,很多文章已经写烂了,我为什么还要写这篇文章呢?因…

Spring Boot 微服务性能下降九成!使用 Arthas 定位根因

简介: 接收到公司业务部门的开发反馈,应用在升级公司内部框架后,UAT(预生产)环境接口性能压测不达标。 背景 接收到公司业务部门的开发反馈,应用在升级公司内部框架后,UAT(预生产&a…

阿里研究员:线下环境为何不稳定?怎么破

简介: 为什么线下环境的不稳定是必然的?我们怎么办?怎么让它尽量稳定一点? 这篇文章想讲两件事: 为什么线下环境[1]的不稳定是必然的?我们怎么办?怎么让它尽量稳定一点? 此外&#…

谁说技术男不浪漫!90后程序员2天做出猫咪情绪识别软件

整理 | 王晓曼出品 | CSDN(ID:CSDNnews)9月1日,一则关于#程序员2天做出猫咪情绪识别软件#的话题登上微博热搜,参与阅读的人数达到了8218.1万,讨论次数1.3万,引发网友们的热议。高手在民间&#…