阿里云李飞飞:什么是云原生数据库

简介: 云原生是一种新型技术体系,是云计算未来的发展方向。今天,阿里云李飞飞将和我们分享何为云原生、云原生如何与分布式有机结合,以及云原生技术如何帮助客户迈入数字原生时代。

image.png

作者 | 飞刀
来源 | 阿里技术公众号

云原生是一种新型技术体系,是云计算未来的发展方向。今天,我来谈谈何为云原生、云原生如何与分布式有机结合,以及云原生技术如何帮助客户迈入数字原生时代。

 

image.png

李飞飞,阿里巴巴集团副总裁,ACM杰出科学家,阿里云数据库产品事业部负责人,达摩院数据库与存储实验室负责人。

一 云原生:从小池塘到江河大海

云原生数据库在海外被称为「Cloud-Native Database Systems」,前面译成中文就是「云原生」,理解云原生先要理解两个关键词——「云」和「原生」。

在传统数据库的系统架构下,必须是紧耦合的设计方式,才能最大效能地发挥系统的优势。举个生活中的例子,过去每家每户会根据用水量打一口水井使用,这与传统的数据库系统使用计算、存储资源的方式一样,但它是紧耦合的方式。如果水不够了怎么办?对应的,这就是传统数据库系统里经常提到的业务扩容。在金融行业,数据库系统扩容通常需要提前几个月甚至半年去做规划,进而细致部署、缜密实施,上线——灰度——再验证,一整套流程就是为了扩容、缩容。传统扩容过程非常漫长,而业务高峰过后缩容也很痛苦,往往会造成极大的资源浪费,也很难应对业务层需要的快速变化能力,这是传统架构非常大的弊端之一。

如果清楚这些概念和背景就很好理解云原生了。「云」就是使用虚拟化的技术将资源池化。水是资源,不用紧耦合的方式来部署和使用,不用家家户户打水井,而是整个村庄联合起来“打”一个湖或池塘,再修管道连到各家各户,这就是资源池化。资源池化以后可以做到按需按量使用,弹性调度,甚至还可以将资源进行解耦,比如,将厨房当作一个计算节点,水当作存储节点,可以随时切换,如果这个厨房不够了,通过系统调度,可以快速拉起另外两三个厨房做计算。这就是云原生核心逻辑,将不同类型资源解耦,并进行池化。让原来的一口口独立水井,在背后合并成一个看不见的江河湖海。具体的,比如在云原生的计算存储分离架构下,业务节点可以根据需要自由的对计算、存储进行快速的扩缩容等操作。

可以看到,云原生带来的本质性变化就像水井和池塘,随着池塘不断变大,越来越多应用迁移上云,池塘不再是池塘,而变成了江河大海。云原生带来的最大技术红利以及经济红利就是规模化应用后带来边际成本下降效应,因此向云原生技术演进的趋势自然发生并且非常清晰,无论用公共云还是专有云私有化部署。这个边际成本下降效应体现在产品上,客户就会因此受益,TCO也一定会下降。

二 数据库的未来:云原生+分布式

全球知名咨询公司Gartner指出,云将主导数据库市场的未来,到2022年,75%的数据库将被部署或迁移至云平台,只有25%的数据库会在本地运行。云化无疑代表了未来,企业如何在云原生架构下使用数据库,就成为必须要思考的问题的。

随着企业业务全面向数字化、在线化、智能化演进,企业面临着呈指数级递增的海量存储需求和挑战,业务有更多的热点和突发流量带来的挑战,企业需要降本增效,进行更智能的数据决策,传统的商业数据库已经难以满足和响应快速增长的业务诉求。

在架构创新上,我们将云原生与分布式结合起来,全新的云原生分布式架构的数据库具备了高扩展性、易用性、迭代快速、成本降低等特点,可以很好的帮助企业解决上述问题。未来数据库也将全面进入云原生加分布式的时代。具体来讲:

1 高扩展性

云原生分布式数据库与底层的云计算基础设施分离,所以能够灵活及时调动资源进行扩容缩容,以从容应对流量激增带来的压力,以及流量低谷期因资源过剩造成的浪费。生态兼容的特点,也让云原生数据库具备很强的可迁移性。

2 易用性

云原生分布式数据库非常易于使用,它的计算节点在云端部署,可以随时随地从多前端访问。因其集群部署在云上,通过自动化的容灾与高可用能力,单点失败对服务的影响非常小。当需要升级或更换服务时,还可以对节点进行不中断服务的轮转升级。

3 快速迭代

云原生分布式数据库中的各项服务之间相互独立,个别服务的更新不会对其他部分产生影响。此外,云原生的研发测试和运维工具高度自动化,也就可以实现更加敏捷的更新与迭代。

4 节约成本

建立数据中心是一项独立而完备的工程,需要大量的硬件投资以及管理和维护数据中心的专业运维人员。此外,持续运维会造成很大的财务压力。云原生分布式数据库以较低的前期成本,获得一个可扩展的数据库,实现更优化的资源分配。

三 “大数据与数据库系统的一体化”新时代

目前,数据库领域有几大核心发展趋势,除了上述提及的云原生和分布式技术的融合,还有大数据与数据库一体化,包括HTAP以及离在线一体化;智能化技术深度融合,即自感知+自决策+自恢复+自优化;Multi-Model多模;软硬件一体化,充分发挥新硬件的优势;安全可信技术,即可验证日志、数据隐私保护与安全多方计算+全链路加密。

在数据分析领域,企业亟需高效解决海量数据深度计算分析,下一代数据分析演进方向应该是“以云原生为基础,离在线一体化技术融合,实现数据库大数据一体化”。“数据库大数据一体化”的云原生数据分析系统能够很好的提供弹性扩展、海量存储、多种计算及低成本等能力,有效解决海量数据深度计算分析的业务分析和创新诉求。

“数据库大数据一体化”也是业界近年的发展趋势。Gartner “There is only one DBMS Market”报告指出,过去根据业务场景按照分析型和交易型需求,需要独立发展OPDBMS(事务处理)和DMSA(管理与分析),而未来分析型和交易型数据操作对技术架构依赖性会更小,将不再需要独立区分OPDBMS和DMSA,通过一体化的数据处理技术即可满足大多诉求。

从技术架构演进过程来看,2003至2006年,Google发布了关于Google File System、MapReduce和BigTable三篇海量数据存储、处理技术论文,奠定了今天大数据的整个技术生态圈的基石。2012年至今,随着云计算的发展,云计算的资源池化、存储与计算弹性扩展等基础设施升级,以及计算存储分离、在离线一体化等技术创新,促进了数据处理开始朝一份数据开放计算、存储计算分离的云原生方向演进,诞生了如Snowflake、AWS Redshift、AWS Aurora、AWS Athena为代表的新一代云原生数据库、数据仓库、数据湖,加速了数据处理向在线化、在离线一体化、结构化与非结构融合处理演进,加速业务走向数字化、数智化创新的新形态。

综上所述,我认为“数据库大数据一体化”的数据分析系统应具备几个特点:云原生;一份存储多种计算;海量存储,支持结构化、半结构化及非结构化数据库的存储及计算;全面兼容数据库生态。

四 云原生时代,中国数据库的历史新机遇

在刚刚过去的2020年,Gartner公布了年度全球数据库魔力象限评估结果,Gartner将OPDBMS(事务性关系型数据库)与DMSA(大数据管理与分析)合二为一成为新的Cloud DBMS Market(统一的云数据库系统市场),故这次的评比更加全面,也代表了“云”的发展趋势。阿里云挺进全球数据库第一阵营——领导者象限,这是中国数据库历史上重大突破,也是中国在基础软件行业首次成为Gartner魔力象限的全球领导者,代表着中国技术正日益走向国际舞台,并日渐成为这个舞台中的佼佼者。正如Gartner分析师所说:“阿里云拥有丰富的数据库种类和完善的产品布局,为用户提供多种关系型、分析型和非关系型数据库产品,还提供混合云环境部署,同时集成备份、数据迁移与同步等能力,最重要的是,阿里云有非常强大的技术实力与创新能力。”

在OLTP领域,阿里云提供核心的云托管数据库服务RDS,以及云原生关系型数据库 PolarDB以及分布式版PolarDB-X。阿里云RDS具备智能化、安全可信、简易运维、高可用、高性价比等多种特性。PolarDB是国内首个云原生关系型数据库,也是国内首个基于存储与计算分离架构云原生数据库,已全面应用于零售、电信、物流、金融等多个行业;PolarDB-X基于云原生分布式一体化架构设计,可支撑千万级并发规模及百PB级海量存储,在阿里巴巴线上核心系统广泛使用,连续多年稳定支撑天猫双11,在1秒钟内系统负载增加了145倍情况下依然保持稳定。在OLAP领域,阿里云推出了新一代云原生数据仓库AnalyticDB以及云原生数据湖分析Data Lake Analytics;AnalyticDB是新一代云原生数据仓库,获得了TPC-DS/TPC-H官方认证的优异成绩,支撑国税、邮政、上海城市大脑等超大规模客户。在NoSQL领域,阿里云推出了云原生多模数据库Lindorm和云原生内存数据库Tair。除此之外,我们还构建了企业级数据库生态工具产品体系,以及云原生智能化数据库管控平台。

阿里云正在构建一个日益完整的云原生数据库产品体系,让客户在这个生态体系中用数据库的方法解决诸多数据处理、存储分析、计算所面临的挑战和问题,这不仅是阿里云数据库的基本出发点,也是客户学习曲线最低,应用成本最低的一种方案。未来,我们会始终坚持以客户需求为核心,从客户视角出发,坚持客户第一、创造客户价值,将更多研发力量投入到解决客户痛点的产品上,让技术创造新商业。

原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/513174.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

stm32 adc 连续和扫描_技术分享 | STM32多个ADC模块同时采样转换的应用示例

在STM32家族里,多数系列芯片内含2到3个ADC模块,有的甚至更多,比方G4系列可以有5个ADC模块。其中,通道数因不同的系列或型号多少不等,几个到几十个的都有。有时,我们可能需要多个ADC模块同时工作&#xff0c…

云原生/低代码/数据科学/计算等方向内容整理志愿者招募了!

持续招募内容整理志愿者!云原生、数据科学、AI、低代码、计算等方向,有意愿的小伙伴,欢迎识别二维码提前报名哦。我们将持续为爱学习、有时间的小伙伴,提供多重福利!要求:1. 你需要具备一定学术背景&#x…

python计算运动会某个参赛选手的得分。数据保存在文件中_成绩计算电脑程序的使用说明...

成绩计算电脑程序的使用说明为了计算成绩,特制作这个电脑程序,说明如下:一、开发软件:Python二、使用说明:在电脑D盘根目录下建立两个excel文件,一个是1.xlsx,另一个是2.xlsx其中,1.…

android 创建文件夹_Android 动画小记

精简介绍Android中的动画,主要介绍用法。动画种类包括了:补间动画、逐帧动画、属性动画,前两者统称为视图动画。补间动画包括了平移、旋转、缩放和透明度四种,每种动画支持xml和代码设置。另外还有一种组合动画,就是将…

2021金蝶全球创见者大会成功举办, 500强企业共话EBC数字战斗力

11月27日,由金蝶主办的“2021全球创见者大会”成功举办。大会以“用数字战斗力,向管理要效益”为主题,求索不确定时代,EBC如何帮助500强及中小企业拥抱数字战斗力,构建企业韧性。 据了解,金蝶全球创见者大…

使用管控策略,设定多账号组织全局访问边界

简介: 企业上云多账号架构中,如何做到从上到下管理的同时,处理好员工的权限边界问题? 由多账号上云模式说起 多账号上云模式的产生 我们的企业客户上云,一般都是从尝试部署少量业务开始,然后逐步将更多业…

使用MaxCompute LOAD命令批量导入OSS数据最佳实践—STS方式LOAD开启KMS加密OSS数据

简介: MaxCompute使用load overwrite或load into命令将外部存储的数据(如:oss)导入到MaxCompute前的授权操作。 MaxCompute使用load overwrite或load into命令将外部存储的数据(如:oss)导入到M…

pca降维的基本思想_R语言进行PCA分析

点击上方「蓝字」关注我写在前面前面我们知道了降维分析学习了PCoA分析今天学习PCA分析...PCA(Principal Component Analysis),即主成分分析方法,是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上,这k维是全新的正交特征…

c语言线性分类回归库 台湾,最全的线性回归算法库总结—— scikit-learn篇

原标题:最全的线性回归算法库总结—— scikit-learn篇本文建议收藏后食用更加美味scikit-learn对于线性回归提供了比较多的类库,这些类库都可以用来做线性回归分析,本文就对这些类库的使用做一个总结,重点讲述这些线性回归算法库的…

吉麦新能源与联想签订战略合作协议,共同拥抱智能网联汽车升维时代

11月25日,吉麦新能源汽车与联想战略合作签约仪式成功举行,双方正式建立战略合作伙伴关系。未来,双方将在车联网、云解决方案及服务、IT基础架构产品服务、智慧工厂服务领域开展深入合作,合力推动新能源造车数智化转型,…

供应链商品域DDD实践

简介: DDD是一套方法论,实践能否成功,不仅仅是个技术问题,更是执行贯彻实施的问题。本文将就DDD的基本概念和DDD的实施进行分享。 作者 | 侧帽 来源 | 阿里技术公众号 前言 供应链商品域DDD实践时间不长,在实践过程也…

20岁,Universal GIS拥抱新生的GIS信创

近20年来,在快速发展的IT新技术和国家应用需求的双轮驱动下,我国GIS技术和产业得到了飞速发展,GIS软件应用范围从几个行业深入到了数字中国建设中的数字经济、数字政务、数字社会、数字生态建设的几乎所有行业和领域。GIS软件已成为国家治理体…

如何用Netty写一个高性能的分布式服务框架?

byte[] -->堆外内存 / 堆外内存--> byte[] -->java对象。 优化:省去 byte[] 环节,直接 读/写 堆外内存,这需要扩展对应的序列化框架。 String 编码/解码优化。 Varint 优化:多次 writeByte 合并为 writeShort/writeInt/w…

C语言rec文件如何打开,REC 文件扩展名: 它是什么以及如何打开它?

REC 疑难解答典型的 REC 开放挑战Squared 5 MPEG Streamclip 不在你尝试加载 REC 文件并收到错误,例如 “%%os%% 无法打开 REC 文件扩展名”。 通常,这是因为你没有安装适用于 %%os%% 的 Squared 5 MPEG Streamclip。 操作系统不知道如何处理你的 REC 文…

Quick BI:降低使用门槛,大东鞋业8000家门店的数据导航

简介: 通过引入MaxCompute和Quick BI,大东解决了以往数据查询即刻导致数据库闪崩的状况,还搭建起完善的报表体系,稳定应对高频、高并发的数据分析。 大东鞋业一季大约有500款的新品。大区下辖的各个分公司要对这500款新品进行订货…

绿盟科技发布安全知识图谱技术白皮书

随着全球数字化和万物互联的加速发展,近年来勒索病毒的攻击手段不断升级,例如今年美国最大燃油管道受攻击导致美国17个州和华盛顿特区进入紧急状态,引起全球关注。当下企业如何提高安全运营知识以面对不断升级的威胁攻击? 近日&a…

「应用管理与交付」为什么会成为云原生新的价值聚焦点?

简介: 为什么“云原生应用管理与交付”会成为 Kubernetes 之上重要的价值聚焦点?CNCF App Delivery SIG 在推动 Kubernetes 之上应用层技术快速演进的过程中将扮演什么角色?这个领域又将发生哪些值得大家期待的创新?让我们一起了解…

android 4.4官方下载,安卓系统电脑版-android x86 4.4 iso下载官方最新版【pc版】-西西软件下载...

Android-X86是由Beyounn和Cwhuang主持设计的。提供了一套完整的可行源代码树,配套文档以及Live CD与Live USB。Android系统主要应用在智能手机以及平板电脑设备上。日前,越来越多使用英特尔和AMD处理器的计算机也开始运行Android系统。如何才 能让Androi…

dataframe iloc_如何使用iloc和loc 对Pandas Dataframe进行索引和切片

在这篇文章中,我们将使用iloc和loc来处理数据。更具体地说,我们将通过iloc和loc例子来学习切片和索引。一旦我们将一个数据集加载为Pandas dataframe,我们通常希望根据某些条件开始访问该数据的特定部分。例如,如果我们的数据集包…

Flink 和 Iceberg 如何解决数据入湖面临的挑战

简介: 4.17 上海站 Meetup 胡争老师分享内容:数据入湖的挑战有哪些,以及如何用 Flink Iceberg 解决此类问题。 一、数据入湖的核心挑战 数据实时入湖可以分成三个部分,分别是数据源、数据管道和数据湖(数仓&#xf…