阿里云李飞飞:中国数据库的时与势

简介:数据库、操作系统和中间件并列为三大基础软件,无论是在银行存取款,还是进行健康码查询,我们的日常应用和企业业务背后都离不开数据库。可以说,没有数据库,就难以构建数字化底座。过去的40多年,数据库技术一直在创新与迭代,经历了不亚于移动通信技术从1G到5G的巨大跨越。云计算的出现,让全球数据库市场格局迎来了40年以来的最大拐点。而这一次,时与势站在中国厂商一边。

image.png

作者简介:

李飞飞,阿里巴巴集团副总裁,阿里云数据库产品事业部负责人、达摩院首席数据库科学家。IEEE Fellow、ACM杰出科学家

决定冰山高度的,是水面之下你看不见的80%。

如果我们将企业业务比作一座冰山,将数据比作数字时代的新石油,那么数据就是埋藏在水面之下的“庞大基底”,其蕴藏的动力潜能令人期待。如何帮助千行百业的用户存好、用好、管好数据,为企业数字化转型赋能,需要承载数据的主体、核心基础软件——数据库作为坚实底座。

数据库、操作系统和中间件并列为三大基础软件,企业业务和日常应用都离不开数据库。无论是在银行存取款,还是进行健康码查询,背后都离不开数据库。可以说,没有数据库,就难以构建数字化底座。

在国际权威机构Gartner刚刚公布的2021年全球云数据库魔力象限评估结果中,作为中国科技公司代表,阿里云数据库蝉联了“领导者”(LEADERS)象限,意味着阿里云数据库综合实力已稳居全球第一阵营。

这既是对阿里云数据库实力的肯定,同时也证明了阿里云围绕云原生数据库新赛道进行前瞻布局和自研创新的战略是正确的。2020年,阿里云首次挺进全球云数据库“领导者”象限,是中国数据库40年来第一次进入全球顶级数据库行列。今年,阿里云仍是唯一进入“领导者”象限的中国企业,能够在国际舞台上为中国数据库赢得认可,我感到非常自豪。

今年入选Gartner全球云数据库魔力象限的企业共有20家,中国2家,占比10%。这与中国巨大的市场空间和产业应用前景并不相称。在我看来,未来一定会有更多中国厂商出现在这份榜单上,并且不断向着“领导者”象限迈进。

我之所以有这样的判断,是因为云计算的出现,让全球数据库市场格局迎来了40年以来的最大拐点。而这一次,时与势会站在中国厂商一边。

数据库的40年大变局

数据库是数字经济里最重要的基石,人们已切身感受到移动通信、智能手机、AI所带来的日新月异的变化,但数据库似乎变化不大。不过在数据库从业者眼里,在过去的40多年,数据库技术一直在持续创新与迭代,经历了不亚于移动通信技术从1G到5G的巨大跨越。

上世纪80年代初,数据库系统逐步走进信息技术舞台的中央。2000年前后,大数据技术兴起;再到2010年后,云计算热度持续升温,云原生、分布式等技术的不断发展。展望未来,数据库技术会因为云计算实现技术上的极大跃迁。

随着企业业务全面向数字化、在线化、智能化演进,企业面临呈指数级递增的海量存储需求和挑战,包括并不限于诸如业务热点和突发流量带来的挑战。企业不仅需要降本增效,还需要进行数据分析、数据洞察,从而产生可指导行动的智能决策,传统的商业数据库已经难以满足和响应快速增长的业务诉求:

一:系统面临持续扩容的挑战。传统数据库是在冯·诺依曼架构下发展而来,其核心特征是计算、存储等资源的紧耦合。当业务需要的资源超过底层系统所能提供的容量后,需要对现有系统进行灵活弹性的扩容。

二:系统永远会存在宕机的风险。如果支撑核心在线业务的数据库出了问题,将导致业务系统无法正常运行。数据库需要高可用,确保无论底层资源发生任何问题,数据库都可以实现不同服务器、不同虚拟机、甚至是不同可用区和地域之间的切换,保证上层业务系统对底层硬件资源的错误或者风险的无感知容错。

面对这两个核心挑战,云原生数据库利用虚拟化技术将计算、存储等资源进行池化,将存储计算分离。打个比方,以前创建独立的数据库,好比每家每户各打一口水井。如今的云原生数据库,则是把这些水井底部的水资源连接起来,表面上还是一口口独立的水井,但是水井的底部已经连在一起,形成了一个隐形的池塘,能实现随时按需用水。

概而言之,从传统数据库到云原生数据库,最大的技术变革是资源池化与资源解耦,以及由此而带来的弹性、高可用、容器化部署、智能化运维等为核心能力。这背后是技术的不断解耦,是技术的解构与重组。通过在技术上把存储计算池化并且分离,为各企业提供不间断、弹性扩展、高可用的数据库服务。

云计算的本质,是利用分布式和虚拟化技术将资源高效池化,而对应用进行透明的集中式部署。业界目前主流的发展趋势,是将资源池化、资源解耦,以云原生、分布式的技术为基础。阿里云所打造的云原生数据库2.0 —— 一站式全链路数据管理与服务,将云原生技术和分布式技术合二为一:上层是分布式,下层以云原生的方式实现,每个分区都可以享受云原生带来弹性、高可用的能力,同时上面有分布式带来的水平拓展的能力,解决高并发可能带来的瓶颈问题。在这个基础上,打造面向不同应用场景和需求的专属数据库和数据仓库系统,做到专库专用;同时,利用HTAP、在离线一体化、库仓一体、多模数据处理等核心技术,实现数据处理与分析的融合,以及数据在不同应用场景和系统之间的自由流转。最后,通过在线数据管理平台来实现一站式全链路数据管理与服务。

举例来说,在传统架构下,企业部署一套IT系统,就需要部署一个数据库,并且要按照可预知的业务峰值来规划设计系统容量和冗余,进行安装部署。这一模式带来的问题和挑战,是高成本和低使用率,因为大部分时间系统是闲置的、资源是错配的。云原生数据库的资源解耦很好地解决了这个问题。

去年,我们为钉钉快速扩容了10万多台云服务器的软硬件资源,但是数据库系统并不需要像传统数据库那样进行复杂且耗时的扩容部署,而是通过云原生技术,采用层级分离、弹性解耦的方式满足业务需要。在云原生数据库系统中,我们可以通过AI和机器学习技术实现智能自动化的运维过程,快速调动资源,匹配业务需求,需要多少资源就扩展多少资源。就像自来水系统,用户可对水量进行实时灵活的控制。如果需求上升,就开大水龙头,需求下降就调小水龙头。业务峰值过后,可以快速释放资源,大幅提升系统资源使用效率。反过来对业务系统来讲,运维简易化程度和效率也大大提升。

双11是全球最大的超级数字工程之一,是阿里巴巴技术的练兵场,但阿里云数据库经受住了最严苛的检验。如2020年双11零点的峰值58万笔/秒,每一笔交易还会有一个拆单的动作,到数据库系统就是每秒几百万TPS(Transactions Per Second,每秒处理事务数)。这种瞬间爆发的场景,如果不是利用云原生的技术,简单依赖传统技术根本无法满足这种高并发、弹性、高可用的要求。

2021年是数字化转型的普及年,千行百业的业务加速上云进程。即使是单一客户,也拥有多样化的复杂业务以及丰富的业务负载特性,单一产品和架构已很难满足客户需要。阿里云数据库全面拥抱云原生,首次从客户场景视角,提出了“一站式全链路数据管理与服务”的理念,希望通过产品及产品组合,满足企业多样化的业务诉求。

面向云原生数据库2.0时代,阿里云数据库提供了涵盖数据生产和集成(DTS、DMS和DBS)、数据实时处理与存储(RDS、PolarDB产品系列、Lindorm、Tair)、数据分析和发现(AnalyticDB产品系列)、数据开发、管理和智能运维(DMS、DAS)的一站式全链路、全生命周期、全场景的数据管理与服务,通过触手可及、简单易用、安全可靠的云数据库,让数据无缝的自由流动。

中国数据库厂商的时与势

数据库作为应用型技术,先发优势和生态建设非常重要,如果没有技术上的突破性创新,后来者想要超越,可能性很小。在云时代的滚滚洪流之下,云计算已成为数据库发展的新赛道,中国数据库企业迎来了绝佳的变革机遇期。

据Gartner预测,到2022年,云数据库管理系统(DBMS)的收入将占DBMS市场总收入的50%,比2020年预测的提前了一年。数据库继续向云迈进,全球数据库产业结构正在加速重构。

云计算作为一种全新的科技服务,对数据库的研发、使用、销售等方方面面带来了彻底的变革,也让全球厂商在数据库赛道上站在了同一起跑线上。中国有着众多的数字用户,有很多独特业务场景。没有成功应对双11流量洪峰、“健康码”等场景的数据库厂商,很难知道如何解决海量数据、超高并发交易洪峰等实际业务问题。放眼全球,中国厂商独享这样的机会。这一次,中国厂商乘“云”而上,拥有了比肩国外数据库的技术和创新能力。

以阿里云自研云原生数据库PolarDB为例,2017年才启动自主研发,但到今天很多功能,如内存、计算与存储三层解耦架构实现秒级弹性、多主多写、基于内存池化的列存索引支持HTAP等已经是全球首创或业内领先的技术,创新步伐已经领先国外同行。

中国信息通信研究院今年6月发布的《数据库发展研究报告(2021年)》指出,我国数据库产业进入重大发展机遇期。报告显示,2020年,中国数据库市场规模约为241亿元,全球市场占比约5.2%。预计到2025年,中国数据库市场总规模将达到688亿元,市场年复合增长率(CAGR)为23.4%,全球占比12.3%左右。

数字经济的蓬勃发展,必然推动了中国数据库市场的快速增长。中国的数据库行业能够挺进并蝉联Gartner魔力象限的领导者地位,是几代人不懈努力的结果。数据库行业取得今天的成绩,与国家对基础软件产品的扶持、以及政策的引导和加持是分不开的。

如果说,过去中国数据库技术打不开市场,有很多客观原因,但是今天中国乃至海外的企业,已经开始大规模接受中国数据库技术,并且金融、政务等核心应用开始尝试用云数据库大规模替代传统数据库。随着科技自立自强的重大战略实施,这种全面替代会是一个确定的趋势,会有越来越多的企业使用中国数据库技术。云原生与分布式一体化、在离线一体化、HTAP混合负载查询与处理、物联网及多模数据融合处理与分析、安全可信与隐私保护、智能化运维与调优、机器学习和AI负载以及智能化算子与应用支持、新型硬件的适配和优化将成为云原生数据库重点发力和突破的技术方向。

今天,中国提供数据库产品的厂商已超过80家,其中很多企业受到资本的高度关注和追捧,成为新锐的独角兽厂商。虽然国内数据库企业单一厂商的人员规模还不足以与全球巨头企业抗衡,但是产业人才已经形成了一定的规模和梯队。这为中国数据库产业的稳步发展打下了坚实的人才基础。阿里云数据库也致力于培养数据库领域的技术人才,建立开源云原生分布式数据库社区与组织,撰写云原生数据库教材,希望吸引更多人参与、学习、贡献数据库技术,实现人才生态的繁荣。

此外,通过产学研合作的携手创新,在数据库领域VLDB、SIGMOD和ICDE三大顶会的论文中,中国厂商的论文数量也呈现了逐年上升趋势,近几年的贡献占比保持在23%左右,部分论文提出的数据库技术创新甚至获得全球同行的认可。这也是中国数据库企业趁势而起的标志之一。

“因天之时,就地之势,依人之利,则所向者无敌,所击者万全矣。”在这样的产业大变革时代,深刻认识和正确把握我们所面临的时与势,有利于中国数据库厂商看清方向,找到快速成长的路径。我相信,时与势也必定转化为中国数据库产业快速发展的动力,让我们在这样关键的信息技术领域拥有应有的一席之地。

原文链接

本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/511696.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里巴巴超大规模 Kubernetes 基础设施运维体系介绍

简介:ASI 作为阿里集团、阿里云基础设施底座,为越来越多的云产品提供更多专业服务,托管底层 K8s 集群,屏蔽复杂的 K8s 门槛、透明几乎所有的基础设施复杂度,并用专业的产品技术能力兜底稳定性,让云产品只需…

数据库资深“学霸”再启程,专访数据库初创公司矩阵起源全球 CTO 田丰博士

师出名门,工业界履历从大厂首席工程师到创业公司 CTO,并能一直从事底层系统的核心研发工作,可能是很多优秀技术人向往的光鲜履历。不过抛弃大厂的光鲜稳定工作和成功的创业项目,再次加入初创公司,则需要比常人更大的魄…

Spring官方RSocket Broker 0.3.0发布: 快速构建你的RSocket架构

简介:Spring官方的RSocket Broker其实开发已经非常久了,我以为会伴随着Spring Cloud 2021.0发布的,但是没有发生。不过Spring RSocket Broker还是发布了最新的0.3版本,虽然还是预览版,但目前已经可用,考虑官…

Redis 6 中的多线程是如何实现的!?

作者 | 张彦飞allen来源 | 开发内功修炼Redis 是一个高性能服务端的典范。它通过多路复用 epoll 来管理海量的用户连接,只使用一个线程来通过事件循环来处理所有用户请求,就可以达到每秒数万 QPS 的处理能力。下图是单线程版本 Redis 工作的核心原理图单…

如何构建流量无损的在线应用架构 | 专题开篇

简介:本篇是整个《如何构建流量无损的在线应用架构》系列的第一篇,这一系列共三篇,旨在使用最为朴素的语言将影响在线应用流量稳定性的技术问题做一个归类,这些问题的解决方案有的只是一些代码层面的细节,有的需要工具…

云原生时代的运维体系进化

简介:基于容器、Kubernetes 等云原生技术,提供的开放社区标准、不可变基础设施、声明式 API 会成为企业 CloudOps 的最佳实践,也将在这个基础上推进数据化、智能化体系建设,将运维复杂性进一步下沉,让企业可以聚焦于自…

企业如何从 0 到 1 构建整套全链路追踪体系

简介:本文将分享 ARMS 在全链路追踪领域的最佳实践,分享主要分为四部分。首先,是对分布式链路追踪的整体简介。其次,是对 ARMS 在分布式链路追踪领域的核心能力进行介绍。然后,介绍如何从 0 到 1 构建整套全链路追踪体…

React18 的 useEffect 新特性为什么被疯狂吐槽?

作者 | 零一来源 | 前端印象react18 已经出来一段时间了,create-react-app 默认安装的 React 版本也已经是 18,不知道有没有小伙伴发现自己有点看不懂 React 了?import { useEffect, useState } from reactfunction App () {const [data, set…

如何构建一个流量无损的在线应用架构 | 专题中篇

简介:本篇是整个《如何流量无损的在线应用架构》系列的第二篇,这一系列共三篇,旨在使用最为朴素的语言将影响在线应用流量稳定性的技术问题做一个归类,这些问题的解决方案有的只是一些代码层面的细节,有的需要工具进行…

一文读懂蓝绿发布、A/B 测试和金丝雀发布的优缺点

简介:目前,业界已经总结出了几种常见的服务发布策略来解决版本升级过程中带来的流量有损问题。本文首先会对这些普遍的发布策略进行简单的原理解析,最后结合阿里云的云原生网关对这些发布策略进行实践。 作者 | 扬少 背景 目前&#xff0c…

Kafka 到底有多高可靠?

作者 | 敖丙来源 | 敖丙什么叫可靠性?大家都知道,系统架构有三高:「高性能、高并发和高可用」,三者的重要性不言而喻。对于任意系统,想要同时满足三高都是一件非常困难的事情,大型业务系统或者传统中间件都…

阿里云张振尧:阿里云边缘云驱动5G时代行业新价值

简介:近日,以“5G融合通信趋势下的技术创新”为主题的2021中国增值电信及虚拟运营高峰论坛在北京召开,阿里云边缘云高级产品专家张振尧发表了《阿里云边缘云驱动5G时代行业新价值》主题演讲,分享了阿里云边缘云作为5G时代的新基础…

美的工业技术亮相2022汉诺威工业博览会,助力全球工业向数字化与可持续迈进

2022年5月31日,2022汉诺威工业博览会开幕并重启线下展览,美的工业技术以“科技驱动,拥抱高效、绿色、智能的工业未来”为主题,携旗下工业自动化品牌“高创”、 “合康新能”和“东菱”,以覆盖自动化、绿色能源领域的领…

hyengine - 面向移动端的高性能通用编译/解释引擎

简介:手机淘宝客户端在历史上接过多种多样的脚本引擎,用于支持的语言包括:js/python/wasm/lua,其中js引擎接过的就有:javascriptcore/duktape/v8/quickjs 等多个。众多的引擎会面临共同面临包大小及性能相关的问题&…

如何进行基于Anolis OS的企业级Java应用规模化实践?|龙蜥技术

简介:提供了724小时的专属钉钉或者电话支持,响应时间保证到在业务不可用情况下10分钟响应,业务一般的问题在一小时可以获得响应,主要城市可以两小时内得到到达现场的服务。 本文作者郁磊,是Java语言与虚拟机SIG负责人…

大数据的下一站 DataOps,智领云发布纯 K8s 云原生数据平台 BDOS Online

最近几年,业界对数据中台的追捧度像坐过山车从高点走低,但在数字化和业务创新驱动下,对数据管理与分析的热度在今年不降反升。 以往搭建一套 Hadoop 大数据平台,技术团队重点要搞定数据的采集、存储、处理和数仓的设计搭建等复杂动…

“全”事件触发:阿里云函数计算与事件总线产品完成全面深度集成

简介:目前,函数计算已具备接入EventBridge所有事件源的触发能力,实现触达阿里云全系产品服务的“最后一公里”。 作者:史明伟(世如)阿里云高级技术专家 随着云原生技术的普及和落地,企业在构建…

开源 Serverless 里程碑:Knative 1.0 来了

简介:近期Knative发布了1.0版本,达到了一个重要的里程碑。Knative自2018年7月首次发布以来, 版本不断的迭代发展,除了无数的错误修复、稳定性和性能增强之外,按时间顺序还进行了一些改进,下文将进行简单介绍。 作者&a…

勒索软件攻击层出不穷,企业如何做好数据保护?

近日,“搜狐员工遭遇工资补助诈骗”事件引起广泛热议:搜狐员工收到一封来自“搜狐财务部”名为《5月份员工工资补助通知》的邮件,员工按照邮件要求扫码,填写银行账号等信息后,大家并没有等到“补助”,并且工…

以一致的体验交付和管理云原生多集群应用

简介:本次文章将首先介绍云原生应用交付和管理的挑战,然后介绍这背后的 KubeVela 和 OCM 技术原理,最后是整体的最佳实践,以及一个完整的 Demo。 作者:冯泳,孙健波 大家好,很高兴能在 KubeCon…