挺进云存储,天翼云全新一代XSSD勇立潮头

引言:自研高性能分布式存储引擎LAVA,实现云硬盘持续创新获得新突。

【全球云观察 | 科技热点关注】

作为算力基础设施的基石,云存储的发展一直备受公有云厂商所重视,对拉动云厂商营收规模带来重要价值,就此也成为了云厂商技术创新与业务发展的重点领域。

天翼云已经是全球最大的运营商云,在云存储的创新上一直非常重视。自研高性能分布式存储引擎LAVA,将云硬盘的创新推向新的高潮,进一步赋能科技应用创新,加快行业数字化进程,助力数字经济的发展。

01

没有最快只有更快,为什么需要越来越快的云存储?

当前,全球进入数字化高度发展的新时代,数字经济已为我国经济发展带来了前所未有的动力。助力数字经济发展离不开算力、存力与运力的三大驱动,更离不开来自云计算、AI、大数据等新兴技术的广泛应用。正因为技术进步与创新应用的普及,从而带来了海量数据呈现出新的增长趋势。

在AI训练领域,ChatGPT将对话机器人的智能化能力推向了历史最高点,不仅如此,ChatGPT持续迭代,不断攀登高阶智能的举措引发了全球对大模型的狂热。随着GPT-4的诞生,模型参数进入百亿千亿级别已经逐渐成为常态。与此同时,中国参与大模型创新厂商也与世界同步,持续迭代大模型的智力。

然而,无论是GPT-4还是其他大模型,所有参与百模大战的厂商聚焦AI算力的同时,也对存储进行再创新,以此应对AI大模型参数规模呈现指数级爆发增长的挑战。细心分析AI模型训练的特点,我们不难发现小文件海量数据的存储需求最为突出,同时大家对训练结果要求越来越快,因为越快越有价值。打造高效存储的支撑系统,是其中必要条件。传统磁盘阵列系统因其缺乏云的弹性与灵活性,难以胜任AI训练时高时低的新需求变化。唯有结合闪存技术同时发挥出云存储的优势才是必然之选。由此,既有云的灵活弹性,又有高性能表现的SSD云硬盘,也就顺理成章地成为AI模型训练的好搭档。

此外,随着大模型行业化发展大潮的到来,各个细分行业大模型诞生将此起彼伏。模型变小是大模型行业化的必然趋势,为此,对于算力、存力在规模与性能上更灵活的需求也将随着模型行业化发展而逐渐呈现出来。在这种情况下,高性能SSD云硬盘实现更多技术创新可谓正逢其时。

在数据库领域,随着用户关键应用能力的加强,对数据库性能的要求也变得更为苛刻,SSD云硬盘对加速数据库性能有着立竿见影的作用,特别是再结合RDMA网络的加持,应用SSD缓存与加速技术对数据库应用场景带来了非常有效的支撑。这也是源自SSD本身比HDD传统磁盘具有更好的IO特性,不需要磁盘那样寻道读写数据,SSD云硬盘带来更加优异的IOPS性能表现,也被更多地应用在数据库场景。高性能SSD云硬盘可以灵活满足用户的高IOPS需求,也可以按需分配存储资源,在数据库应用较少情况下节约资源,按需付费,弹性支撑数据库场景的灵活应用。

在游戏渲染领域,当前不少游戏厂商与视频创意组织乐意选择云端算力平台,在渲染工作繁忙时花费云端GPU等资源,在闲暇时可以节省资源。与此对应渲染数据存储支持上,选择高性能SSD云硬盘最为匹配。关键在于渲染应用会随着数据的增长,对存储性能要求会更高,在很大程度上,也驱使相关云存储厂商不断提升云硬盘性能,实现更优越的百万级IOPS。

很显然,要求存储越来越快,这是所有用户一直以来的普遍追求,对性能越来越苛刻的要求,主要源自新兴应用的蓬勃发展。新应用驱动新数据快速增长,包括AI训练、数据库、游戏渲染等应用对数据读写IOPS和时延要求极高。

除了AI训练、数据库、游戏渲染之外,视频创意、AR/VR、动画制作、仿真建模等领域,同样对存储性能、弹性、按需使用等方面有着刚需。

以用户需求为创新的源动力,天翼云在云硬盘上加速创新,迎来了新的发展拐点。没有最快只有更快,特别是在高性能的云硬盘技术发展上,依托自研高性能分布式存储引擎LAVA,将百万级IOPS云硬盘XSSD推向市场。

02

全面进发云存储,XSSD勇立数字化发展的潮头

事实上,在云硬盘领域,天翼云布局十分广泛,旗下拥有包括普通IO、高IO、通用型SSD、超高IO、极速型SSD以及最新推出的XSSD,总计六类产品。为了覆盖用户各种各样的需求,天翼云全面进发,以不同容量、不同性能的云硬盘来支持用户多样化需求,彰显云存储的创新优势。

针对越来越苛刻的高性能需求,天翼云一直保持着业界少有的创新节奏,特别是在闪存技术的应用上,有着多年的积累,这有助于天翼云在云硬盘上推陈出新,并不断实现新突破。

天翼云基于高性能分布式存储引擎LAVA,在主机侧采用VFIO-User架构,提供企业级NVMe SSD云硬盘,IO经过虚拟机内核后直达LAVA客户端,降低了原QEMU开源虚拟机IO处理的消耗。借助零拷贝数据传输机制,通过全自研L-RDMA协议,不仅降低通信开销,提升数据传输效率,而且缩短了全栈IO处理路径,直接带来时延上的明显优化。

不过,SSD因其自身erase-before-write特性的限制,写放大一直是件麻烦事。为此,天翼云结合日志即数据技术,通过多版本数据管理技术,解决了整个写IO流程无写放大的难题,即使遭遇上千快照也不会产生额外IO,从而很好地规避了SSD云硬盘因写操作带来的IO性能影响。

此外,还在分布式存储纠删码EC技术基础上,天翼云叠加动态路由功能,实现与多副本同级别性能,存储利用率提升50%以上。

独特的分布式引擎架构的技术虽好,但是,XSSD到底可以达到怎样的性能水平呢?总体来看,与天翼云的上一代极速型SSD、超高IO云硬盘相比,XSSD表现还是相当突出。

之前推出的超高IO云硬盘可以提供最大带宽350MBps,最低时延1ms,实现最大IOPS为3.3万。极速型SSD可以提供最大带宽750MBps,时延低于1ms,实现最大IOPS为10万。

而X系列云硬盘亮相之后,其带宽、时延、IOPS等指标均提升了2~10倍。在数据库等时延敏感场景,XSSD可以实现稳定低时延,并为用户提供媲美本地盘的高性能。目前,XSSD分为两种规格,其中面向IO密集型数据库的XSSD-1在带宽和IOPS上虽然与之前的极速型SSD旗鼓相当,但是在时延上却获得更优越的百微秒级表现,性能高且时延低才是诸多用户尤为重视的关键。

面向关键/核心数据库、内存数据库、AI和大数据应用场景的XSSD-2,在带宽、时延、IOPS三个核心表现上都获得前所未有的突破,最大带宽达到4000MBps,实现最大IOPS高达100万,而最低时延却被控制在了0.1ms,相当于比极速型SSD最低时延表现降低了10倍左右。

高性能云硬盘几乎所有公有云厂商都在提供,天翼云XSSD到底能否“闯关”成为行业翘楚,除了天翼云对外公布的具体性能情况之外,更需要业界权威机构的评测认可。

2023年,中国信通院为天翼云分布式块存储XSSD测试颁发测试证明,天翼云XSSD成为业内首家通过信通院权威认证百万IOPS,并且实现存储全国产化的云硬盘,进一步夯实了数据要素的存储基石,勇立数字化发展的潮头。

03

全新科技突破,应对苛刻应用场景的存储挑战

话又说回来了,XSSD性能虽好,可靠性到底如何呢?毕竟检验云硬盘品质的核心指标,离不开高可靠性。

从可靠性需求的早期发展来看,之前企业上云方案中不少采用物理机加本地盘的方式,虽然可以满足用户的高性能需求,但受限单台服务器存储资源的使用,因而在可靠性上难以得到有效保障,不仅无法容忍“Double Fault”双点失效,即使单点故障也同样无法容忍,与此同时存储容量无法实现弹性扩展,在满足用户应用需求增减变化上显得格格不入。

实现全新科技突破,应对苛刻应用场景对高可靠性的挑战,XSSD的表现异常突出。在高可靠性上,不仅实现高达99.9999999%的数据持久性,而且实现了99.975%的业务可用性。

实际上,拥有如此突出的高可靠性,这与天翼云在XSSD上实现技术突破,应对四大可靠性挑战有着很大关系。

针对故障快速修复的挑战,XSSD基于分布式存储引擎LAVA,采用独有的EC动态路由叠加多层数据保护技术,实现跨AZ数据高可用,减少跨AZ数据修复流量,达成快速修复故障目的。

针对存储引擎写入方式的挑战,所有数据写入XSSD都采用Append Only模式,优化写链路,规避底层数据覆盖写的难题,可追溯数据,遭遇故障读写不降级,从SSD云硬盘底层技术革新,硬碰硬增强可用性。

针对快照影响性能的挑战,XSSD采用多版本管理的快照技术,降低快照对IO性能的干扰,实现快照性能无损,目前每块云硬盘的快照数量可达千级,支持用户在数据备份与持续保护上的苛刻需求。

针对数据读写全流程的可靠性挑战,XSSD凭借全路径数据校验技术,实现端到端数据保护的DIF校验,同时支持多种DIF配置,确保读写全流程的数据一致性。

应对苛刻应用场景的存储挑战,实现高可靠性虽然必不可少,但少了弹性扩展,必然就难以满足用户实际应用需求的增减变化。

在高弹性方面,XSSD表现依然不俗。有着对天翼云在云服务弹性优势上的天然承袭,XSSD采用分布式元数据存储管理,元数据规模与性能随节点增加而线性增长,最大支撑万亿级元数据规模,满足关键业务、核心数据库、内存数据库、AI训练等典型应用对容量和性能的要求,同时通过两级集群设计,万级节点扩展能力不在话下。

此外,XSSD为用户提供按需采购付费的方式,通过预配置IOPS的订购模式,实现容量和性能的解耦,任何用户都可以按照业务发展的不同阶段情况,针对波峰或波谷按需动态配置性能。很显然,在动态性能需求场景上,XSSD支持预配置IOPS订购模式,可谓深得人心。

由此可见,从高性能、高可靠、高弹性、按需配置等多个方面硬指标出发,满足苛刻应用场景的用户需求。天翼云通过创新性设计的端到端IO路径,采用软硬件多层面技术优化,加上自研高性能分布式存储引擎LAVA的技术加持,打造出新一代高性能云硬盘XSSD,令业界眼前一亮。

更值得一提的是,助力数字中国的蓬勃发展,在全栈式国产化设计思路上,天翼云XSSD创新坚持安全可信。为了确保整个云硬盘产业链不被“卡脖子”,保障云硬盘的生态安全性,天翼云积极携手CPU、存储介质、SSD控制器、网络、操作系统、存储软件等国产厂商,联合存储全产业链的上下游合作伙伴,充分发挥国产技术的创新优势,互为开放,广泛兼容,借助存储软件在系统层面扬长避短,实现XSSD整体能力达到业界领先水平。

不过,全球存储观察认为,基于分布式存储引擎LAVA的XSSD系列云硬盘推出,只是天翼云挺进云存储的一个新开始,下一步将会有更多基于完全自研的云硬盘新品出现,实现云硬盘在技术上的更多新突破,满足更多苛刻应用场景的新需求,让我们拭目以待。(by Aming)

- END-

欢迎文末评论补充!

【全球存储观察|全球云观察 |阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/220268.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微信开发者工具安装教程

文章目录 下载安装包执行安装包 #微信开发者工具安装教程 下载安装包 官网网址 执行安装包 D:\Program Files (x86)\Tencent\微信web开发者工具\dll

联合体(c语言)

1.联合体由一个或多个成员组成,这些成员可以是不同类型,但编译器只为最大的数据成员分配足够的内存空间,所有成员占一个空间,所以联合体也叫共用体(可以利用这一点用不同的变量表示同一快空间),给其中一个成…

Git应用——代码提交规范 feat ,fix ,style

当前使用 feat 增加新功能fix 修复问题/BUGstyle 代码风格相关无影响运行结果的perf 优化/性能提升refactor 重构revert 撤销修改test 测试相关docs 文档/注释chore 依赖更新/脚手架配置修改等workflow 工作流改进ci 持续集成types 类型定义文件更改wip 开发中 别处看到 fea…

椋鸟C语言笔记#26:数据在内存中的存储(大小端字节序)、浮点数的存储(IEEE754)

萌新的学习笔记,写错了恳请斧正。 目录 大小端字节序 什么是大小端 写一个判断大小端的程序 浮点数在内存中的存储(IEEE 754规则) 引入 存储规则解释 读取规则解释 1.阶码不全为0或全为1(规格化数) 2.阶码全为…

IDEA Maven项目如何引用本地jar包,并打包发布

jar包位于当前路径下的lib目录中 引入所需要的配置 查看当前jar包的相关信息 包的引入,需要使用到当前包的artifactId, groupId, version 需要到包的/META-INF/maven/ 下面的 pom.xml 文件里面找 在Maven构建项目时,生成的依赖包中的/META-INF/maven目录存放了一些…

【JUC】二十八、synchronized锁升级之偏向锁

文章目录 1、偏向锁出现的背景2、从共享对象的内存结构看偏向锁3、偏向锁的持有4、启动偏向锁5、sleep暂停来启动偏向锁6、偏向锁的撤销7、总体流程8、SinceJava15 偏向锁的废除 1、偏向锁出现的背景 如果一个线程连续几次抢到锁,仍然重复加锁解锁,就会…

【深度学习】注意力机制(六)

本文介绍一些注意力机制的实现,包括MobileVITv1/MobileVITv2/DAT/CrossFormer/MOA。 【深度学习】注意力机制(一) 【深度学习】注意力机制(二) 【深度学习】注意力机制(三) 【深度学习】注意…

产品入门第三讲:Axure产品流程图绘制

📚📚 🏅我是默,一个在CSDN分享笔记的博主。📚📚 ​​​​​ 🌟在这里,我要推荐给大家我的专栏《Axure》。🎯🎯 🚀无论你是编程小白,还…

机器人行业数据闭环实践:从对象存储到 JuiceFS

JuiceFS 社区聚集了来自各行各业的前沿科技用户。本次分享的案例来源于刻行,一家商用服务机器人领域科技企业。 商用服务机器人指的是我们日常生活中常见的清洁机器人、送餐机器人、仓库机器人等。刻行采用 JuiceFS 来弥补对象存储性能不足等问题。 值得一提的是&am…

Docker容器如何优雅地访问宿主机网络

# 前言 某些时候,我们会有在容器内容访问宿主机某个服务的需求,比如现在 openai 无法直接访问,需要给项目添加代理,我的 chatgpt-dingtalk (opens new window) 项目支持了通过环境变量指定代理地址。 添加方式如下: …

嵌入式奇妙之旅:Python与树莓派编程深度探索

💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】🤟 基于Web端打造的:👉轻量化工具创作平台💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 在这个数字化的时代,嵌入式系统的应…

主动学习与弱监督学习

人工智能数据的获取没有想象中的那么简单,虽然我们早已身处大数据的浪潮下,很多公司在获取数据的大浪中翻滚却始终没有找到一个合适的获取数据的渠道。很多情况下,获取高质量的人工智能数据需要消耗大量的人力、时间、金钱,但是对…

Vue3-08-条件渲染-v-if 的基本使用

v-if 是什么 v-if 一个指令, 它是用来根据条件表达式,进行选择性地【展示】/【不展示】html元素的。比如 : 有一个按钮A,当条件为真时,展示该按钮;条件为假时,不展示该按钮。与 js 中的 条件判…

绝地求生:PGC2023胜者组D2下半场:17天霸成功晋级,TL、NH跌入最后机会组

第四场 第一名:LGC 第二名:T5 第三名:FaZe 17仅剩两人,T5踩住高点,sujiu前顶时被T5架枪位击倒,小鬼的盾牌没能挡住对方的雷遗憾第五出局。然而T5自己也进圈不易,仅剩两人。 LG独狼卡住T5却忽…

Leetcode 2132. 用邮票贴满网格图(Java + 两次一维前缀和 + 二维差分)

Leetcode 2132. 用邮票贴满网格图(Java 两次一维前缀和 二维差分) 题目 给你一个 m x n 的二进制矩阵 grid ,每个格子要么为 0 (空)要么为 1 (被占据)。给你邮票的尺寸为 stampHeight x sta…

Linux_Ubuntu 系统入门

Ubuntu 系统是和 Windows 系统一样的大型桌面操作系统,因此功能非常强大。 本节的目的是掌握后续嵌入式开发所需的 Ubuntu 基本技能,比如系统的基本设置、常用的 shell 命令、vim 编译器的基本操作等等…… Ubuntu 的图形化界面操作和 Windows 下基本一致…

数据分析基础之《matplotlib(3)—散点图》

一、常见图形种类及意义 1、matplotlib能够绘制折线图、散点图、柱状图、直方图、饼图。我们需要知道不同的统计图的意义,以此来决定选择哪种统计图来呈现我们的数据 2、折线图plot 说明:以折线的上升或下降来表示统计数量的增减变化的统计图 特点&…

智能优化算法应用:基于白鲸算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于白鲸算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于白鲸算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.白鲸算法4.实验参数设定5.算法结果6.参考文献7.MATLAB…

实践干货 | CodeWave如何支持多人协作开发应用

在传统软件开发领域里,要完成具备一定复杂程度的软件,通常都会由一个研发团队协作开发。软件复杂度越大,研发团队的规模也就越大。 为了让研发团队能够高效的进行协同开发,业务引入了优秀的代码版本管理工具,比如传统软…

C语言union联合体(共用体)

一、定义 联合体(共用体)是一种特殊的自定义的数据类型,它包含一系列的成员变量,这些成员变量共用一块内存空间。 语法: union 标识符 { data_type 标识符1; data_type 标识符2; . . . dat…