【CDS技术揭秘系列 总篇】阿里云的云定义存储来了

简介: 全新发布的云定义存储 CDS 和传统的存储阵列、分布式存储、软件定义存储的区别在哪里?阿里云存储团队如何看待将来存储的发展趋势?本文邀请了 CDS 研发团队的核心技术负责人为大家揭开围绕着阿里云 CDS 的种种谜团。

云定义存储(CDS: Cloud Defined Storage)正式发布

在 2021 年中秋与国庆之际,阿里云存储团队发布了全新的云定义存储 CDS。

这次发布的 CDS 1.0 版本,基于阿里云飞天操作系统和分布式存储底座盘古,是业界首次同时支持对象存储服务 OSS、块存储服务 EBS、日志服务 SLS和灾备服务 HBR,特别是通过盘古全新的QoS框架支持对象存储服务 OSS 和块存储服务 EBS 服务融合部署在同一套物理服务器上面。这次发布的存储服务与公共云上规模化的存储服务做到了代码版本基本一致,弥合了以往混合云版本和公共云版本差距比较大的问题,让客户能够享受到和公共云基本一致的功能。

阿里云存储团队为什么要发布 CDS? CDS 和现在传统的存储阵列、分布式存储、软件定义存储的区别在哪里?阿里云存储团队如何看将来存储的发展趋势?在这里,我们 CDS 研发团队的核心技术负责人们会通过一系列的技术文章为大家揭开围绕着阿里云 CDS 的种种谜团。

为什么要开发云定义存储?

业务的需求

从阿里云存储在 2016 年底成立混合云存储 HCS(Hybrid Cloud Storage)部门以来,内外部业务对规模配置灵活和功能有竞争力的分布式存储产品的需求一直都不少。当时综合考虑产品研发的投入,阿里云在混合云市场尚且缺乏经验,以及国内市场参与厂商比较多和竞争激烈等多方面因素,我们制定的策略是以专有云集成的分布式存储、阵列、灾备一体机等结合起步,先进入传统存储市场的不同细分领域试水,为阿里云了解和摸索这个市场,储备经验和弹药。

自 2018 年开始,随着 IT 基础设施云化的节奏加快,基于云的基础架构或者数据中心已经成为政企客户的首选方案,给新的存储厂商特别是软件定义存储厂商带来了巨大的市场机会,同时随着阿里云在混合云市场的发展,对阿里云存储在混合云场景输出的要求越来越高涨,于是存储团队在 2019 年开始正式启动相关产品的规划、设计和开发。

艰难的决策

在把目标聚焦在分布式存储和 SDS 的方向以后,通过分析和研究,我们发现国内 SDS 产品的的同质化很严重,我们如果脱离公共云技术栈另起炉灶搞一个类似的产品难以构建持久的核心竞争力,同时从技术和工程角度讲,公共云和专有云两套产品架构并行开发,会造成巨大资源浪费,很多相似特性都需要在不同产品上重新做一遍,而且由于架构约束还不能保证都能支持。最后我们决策启动混合云分布式存储 SDS 的自研,技术上坚持公共云和混合云 CDS 共享同一套技术和代码,保持公共云存储服务的弹性、扩展能力和服务托管的差异化竞争力,同时积极补齐企业存储的高级特性。因此混合云 CDS 的架构、功能和用户体验都是和公共云保持一致的, 这也是我们这里所说的云定义存储的“云定义”的由来。

接下来,我们依次介绍一下软件定义存储的特点、云定义存储和软件定义存储的区别。

软件定义存储

软件定义存储的起源

软件定义存储(SDS:Software Defined Storage)的说法最早见于 2012 年 VMware 和 EMC 推动软件定义数据中心(SDDC:Software Defined Data Center)的一系列市场战役,后续一众数据中心/服务器/存储厂商也跟进了这个定义,大家的策略是为了应对越来越明显的企业上云的诉求,以及 AWS/Azure 云计算厂商带来的压力和竞争,于是面向云计算重新定义了企业数据中心和存储的路径和方向。当年 SDS 最热的一段历史过程如下图所示:

软件定义存储的关键特征

软件定义存储有很多特征,业界比较公认的有三大特征:抽象(abstract),池化(pool)和自动化(automate)。这些特征背后的驱动力是企业上云和企业 ICT 基础设施云化。

  • 抽象,软硬解耦,管控解耦:云计算厂商和云化的数据中心大量使用了标准化/商业化的服务器来替代EMC/NetApp/IBM 等的专有硬件存储设备,大规模采购、存储/服务器分别招标等促使存储软件和硬件解耦。数据面和管控面解耦,也帮助客户通过统一的管控面来管理不同厂商的不同硬件(数据面)。
  • 池化和横向扩展:为了提高资源利用效率,使用存储虚拟化技术池化各种存储和数据烟囱。
  • 自动化:通过开发 API,让软件来控制存储资源和服务的增删改查,比人机界面的效率更高,业务弹性伸缩能力更强。

软件定义存储与传统存储阵列/软件的区别

SDS 和传统存储阵列在硬件耦合、节点/控制器扩展方式和规模、交互和管理接口各个层面都有区别:

值得一提的区别是,SDS 的“软件定义”在国外特别强调的是 SDS 是 API/SDK 丰富,可以软件编程驱动,而传统存储更多的人机交互接口,管理员驱动为主。

云定义存储是什么

云定义存储 CDS 是一个全新的软件定义存储,既能够在定制的 CDS 存储服务器上软硬一体优化输出,也有支持 X86 到各个信创平台的软件输出模式。其中最核心的关键词是“云定义”,总结下来有六大能力:

  • 云原生(Cloud Native)

CDS 不是重新开发的产品,它是把阿里云公共云的各种存储服务,按照产品规划和市场需求逐步导入发布到统一的 CDS 存储平台,在内部 CDS 里的存储服务例如 OSS 的代码和特性和公共云完全一致;对外部,CDS 集成的各种云存储服务从控制台(GUI)、命令行(CLI)到 Open API/SDK 都和公共云一致,降低了原有阿里云客户和合作伙伴使用和集成的难度。

与此同时,CDS 还天然支持公共云的分层架构:云-区域(Region)-可用区(AZ)-集群(Cluster)。

  • 云规模(Cloud Scale)

相对绝大部分分布式存储或者 SDS 厂商,阿里云 CDS 的最大优势就是 CDS 这些代码都是经历了阿里云公共云百万级客户和阿里巴巴集团各种业务(例如双十一)的打磨和验证的,支撑了超大规模和复杂业务的压力。以CDS 的 OSS 存储服务为例,单个桶在生产环境能够支持万亿对象,达到 EB 级容量。

  • 云服务(Cloud Service)

CDS 在同一存储平台上同时提供多种云存储服务(一般最常见的有块存储和对象存储服务),支持多租户。前台可以像公共云那样客户自助服务(Self Service),后台可以客户自主运维也可以托管运维(本地驻场或者远程),各种基本存储服务通过 CDS 云管套件统一管控和运维、通过盘古统一数据底座,同时可以选择开通高级存储服务例如日志服务、灾备服务、数据管理和分析服务等。

与此同时,为了加速企业上云,阿里云存储在公共云和 CDS 上同步发布企业存储的功能,例如基于 EBS 的企业级块存储 ESSD ,基于 HBR 的容灾备份功能。

  • 云连通(to Cloud)

存储数据在 CDS 和 CDS 以外的云之间通过网络受控的安全的流动。

  • 云部署(on Cloud)

CDS 直接部署在云环境里作为云存储服务对外提供服务,这里的云环境可以是公共云、本地云、边缘云和专有云等各种云架构。

  • 混合多云(Hybrid Multi Cloud)

除了外部客户的需求,阿里巴巴集团内部也有很多业务单元在对外输出产品或者服务的时候都有对存储的需求,综合这些需求,他们或者他们的客户都有避免被某个供应商锁定的诉求,混合多云已经成为标配。在这里,混合多云有两种不同解读:一种是阿里云的混合多云,包括阿里云公共云、混合云、本地云、边缘云计算等等;另外一种是阿里云和其他的云计算服务商。

CDS 基于统一的盘古 2.0 分布式存储混合多云实现了混合多云、云连通等多态云部署:

重新定义的特性发布模式

阿里云 CDS 不仅重新定义了混合云的 SDS 的新基线,同时也重新定义了阿里云存储产品和特性研发的工程模式,从 CDS 1.0 开始,已经在 CDS 平台发布的云存储服务单品会被要求公共云和混合云场景准同时发布。与此同时,混合云输出特别是无公网连接的场景,依赖客户或者驻场服务人员的技术能力;阿里云 CDS 产品重点打磨智能运维、RAS、和自动诊断能力,这些能力也同时反哺到公共云存储服务中,提高系统运维效率,增强系统稳定性。

CDS 重新定义的工程模式大大加速了混合云存储版本发布的能效,在本财年 CDS 的下一版本里,云存储网关、新的企业级快存储 ESSD 和文件存储 NAS 等重要产品和特性将快速推出。

展望

阿里云 CDS 是一个云定义的存储平台,当前 CDS 1.0 版本支持了多款阿里云存储产品和数据服务(包括块存储 EBS、对象存储 OSS、日志服务 SLS 和灾备服务 HBR)。在接下来的技术连载里我们会逐步介绍 CDS 里平台和管控服务、盘古、EBS、OSS、SLS 等各个产品和关键模块的特点。

阿里云 CDS1.0 的发布,代表着阿里云存储开始以一个原汁原味的云存储的形态进入混合云存储市场,来满足日益增长的云计算的需求。作为国内公共云的领先者,同时又是混合云市场的挑战者,我们有坚定的信心和决心,和高校的专家、友商同行一起推动中国存储技术的发展。

原创作品:阿里云存储 慈湖

原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512315.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

TSDB时序数据库时序数据压缩解压技术浅析

简介: 目前,物联网、工业互联网、车联网等智能互联技术在各个行业场景下快速普及应用,导致联网传感器、智能设备数量急剧增加,随之而来的海量时序监控数据存储、处理问题,也为时序数据库高效压缩、存储数据能力提出了更…

Atmosic推出ATM33新品,全新的ATM33系列性能大升级

为减少各种物联网产品高昂的电池更换成本,以及降低对环境的危害,在上个月举行的媒体发布会中,Atmosic营销及业务拓展副总裁 Srinivas发布了公司的新产品——ATM33,并详细解析了ATM33的技术特性和主要应用领域。 ATM33系列产品可支…

什么是低代码(Low-Code)?

简介: 什么是低代码?我们为什么需要低代码?低代码会让程序员失业吗?本文总结了低代码领域的基本概念、核心价值与行业现状,带你全面了解低代码。 阿里云 云原生应用研发平台EMAS 彭群(楚衡) 一…

php用wordanalysis抓取姓名_利用vba查询/抓取 外部数据

考虑这么一个excel文件,路径为:"E:dataEdata.xlsx",样式如封面图片所示想要在其他excel文件中,通过代码直接抓取Edata.xlsx中想要的数据,做法如下:先在Visual Basic中勾选“工具-引用-Microsoft …

如何加速云原生数据应用?这个开源项目备受关注

简介: 自2020年9月Fluid正式对外开源,发展短短一年时间, Fluid 便一次获得两项开源界的重要认可,证明着其所专注的云原生、AI 领域也正在迎来广泛关注。这其中的意义和价值如何?我们尝试管中察豹,从 Fluid …

使用 Cilium 增强 Kubernetes 网络安全

作者 | Addo Zhang来源 | 云原生指北TL;DR在本篇,我们分别使用了 Kubernetes 原生的网络策略和 Cilium 的网络策略实现了 Pod 网络层面的隔离。不同的是,前者只提供了基于 L3/4 的网络策略;后者支持 L3/4、L7 的网络策略。通过网络策略来提升…

内含干货PPT下载|一站式数据管理DMS关键技术解读

简介: 深入解读实时数据流、库仓一体数据处理等核心技术 “数聚云端智驭未来”——阿里云数据库创新上云峰会暨第3届数据库性能挑战赛决赛颁奖典礼已圆满结束,更多干货内容欢迎大家观看峰会直播回放。 峰会直播回放📎数聚云端 智驭未来——…

好饭不怕晚,扒一下 Redis 的配置文件

作者 | 阿Q来源 | 阿Q说代码在往期的文章中我们已经对Redis的概念和基本命令进行了讲解,今天我们来看下它的配置文件,Redis的配置文件在我们的开发和实际应用中起着非常重要的作用。我们可以在安装目录下找到redis.conf配置文件,通过vim命令进…

ICBU可控文本生成技术详解

简介: 文本生成(Text Generation)是自然语言处理(Natural Language Processing,NLP)领域的一项重要且具有挑战的任务。顾名思义,文本生成任务的目的是生成近似于自然语言的文本序列,…

云拨测助力节卡机器人 全面优化海外网站性能

简介: 【案例分享云拨测】借助云拨测,节卡机器人有效挖掘性能瓶颈,经过优化,提升网站打开速度 50% 以上,提高了运营推广活动的 ROI,帮助节卡为全球用户提供更加优质的服务! 作者|白…

分享一个巨好用的 HTTP 命令行宝藏工具

作者 | Eason来源 | 程序员巴士HTTPie是一个命令行 HTTP 客户端。它的目标是使 CLI 与 Web 服务的交互尽可能人性化。HTTPie 设计用于测试、调试以及通常与 API 和 HTTP 服务器交互。http 和 https 的命令允许创建和发送任意 HTTP 请求。HTTPie 整体采用简单自然的语法&#xf…

mysql远程备份工具_innobackupex实现MySQL远程备份

一、了解innobackupex1、mysqldumpmysql逻辑备份工具,作用于服务器本地,不需要额外安装插件可以单表备份,备份为sql文件形式、方便,在多个场景通用可通过shell命令实现定时备份,但备份时如果用户有操作,容易…

技术干货 | Native 页面下如何实现导航栏的定制化开发?

简介: 通过不同实际场景的描述,供大家参考完成 Native 页面的定制化开发。 很多 mPaaS Coder 在接入 H5 容器后都会对容器的导航栏进行深度定制,本文旨在通过不同实际场景的描述,供大家参考完成 Native 页面的定制化开发。 欢迎关…

深入理解云计算OpenAPI体系

简介: 就云计算的API来看,当前并没有类似POSIX这样的API标准,基本上各大厂商各自为政。当然,有一些业界主流标准例如OAS获得多数云厂商的支持,但云厂商本身的API却往往由于历史原因、技术路线原因百花齐放,…

Gartner:2025年有效细分市场中过半企业的 IT 支出将转向云

来源 | CSDN云计算 根据Gartner的最新预测,2025年有效细分市场中的企业在公有云计算领域的IT支出将超过传统IT服务支出。 Gartner的“云迁移”研究只包括可以迁移到云的企业IT市场,即应用软件、基础设施软件、业务流程服务和系统基础设施市场。2025年在这…

阿里云容器服务全面升级为 ACK Anywhere,让云的边界拓展至企业需要的每个场景

简介: 2021 年 9 月 26 日上海阿里云计算峰会上,阿里巴巴研究员、阿里云云原生应用平台负责人丁宇宣布,阿里云容器服务全面升级为 ACK Anywhere,让企业在任何需要云的地方,都能获得一致的容器基础设施能力。 此次升级的…

Redis 突然变慢了如何排查并解决?

作者 | 码哥字节来源 | 码哥字节Redis 通常是我们业务系统中一个重要的组件,比如:缓存、账号登录信息、排行榜等。一旦 Redis 请求延迟增加,可能就会导致业务系统“雪崩”。最近遇到了一个bug,经过查找发现 Redis 报 Could not ge…

成本直降50% | 阿里云发布云原生网关,开启下一代网关新进程

简介: 融合流量网关与微服务网关的下一代网关—云原生网关来啦!优势满满! 流量网关和微服务网关必须分开构建吗? 在容器技术和 K8s 主导的云原生时代,这个命题正浮现出新的答案。 更经济:将流量网关与微…

MongoDB 5.0新特性概览

简介: MongoDB 5.0标志着一个新的发布周期的到来,以更快地交付新特性给到用户。版本化API与在线重新分片相结合,使用户不必担心未来的数据库升级以及业务变化问题;本地原生时间序列数据平台也使MongoDB能支持更广泛的工作负载和业…

深入前端研发效能治理:数据化运营思路及其实践

简介: 数据中台前端研发无不让人厚重真实地感受到“唯一不变的是变化”。拿集团的数据资产服务平台来说,业务上经过两年的发展,已由单一的数据管理和使用平台发展成了集团具有一定规模和影响力的全域数据要素交易所,而从前端技术侧…