作为基础软件“三驾马车”之一的数据库,其发展历程可追溯到60年前:从上世纪50年代的层次数据库、网状数据库,70年代的关系型数据库,再到90年代的关系型数据库、数据仓库、PC单机数据库和 2000 年的开源数据库,Oracle等国际巨头始终占领数据库领域的垄断地位。2010 年,伴随云计算发展和云数据库的崛起,以阿里云为代表的中国厂商在国际上崭露头角。
据 Gartner 发布的《2020 年度全球数据库魔力象限报告》显示,阿里云进入全球数据库领导者象限,这是中国数据库 40 年来首次进入全球顶级数据库行列。
随着云原生时代的来临,阿里巴巴瞄准机遇,十多年前开始抢先布局云数据库:
2009 年,率先提出升级传统商业数据库,用开源的 MySQL 替代 Oracle。
2010 年,基于 MySQL 着手打造开源数据库 AliSQL,并对淘宝商品库进行改造。
2013 年 7 月,淘宝最后一个 Oracle 数据库下线。
2016 年,阿里巴巴开始自研首个分布式数据库。
2017 年,推出国内首个云原生关系型数据库 PolarDB,计算能力最高可扩展至 1000 核以上,性能比 MySQL 高 6 倍。
2019年6月, 阿里云进入全球云数据库市场份额前三、亚太市场第一
2019 年 7月 ,云原生数据仓库 AnalyticDB 登顶 TPC-DS,成全球最快实时数仓。
2020 年 8 月,阿里云数据库市场份额跃居国内第一,首次超过传统数据库。
2020年11月, 阿里云首次进入Gartner全球数据库领导者象限,这也是中国数据库40年来首次迈入全球顶级数据库行列
阿里云一直深耕云数据库领域:在打造出云原生关系型数据库 PolarDB、云原生分布式数据库 PolarDB-X、云原生数据仓库 AnalyticDB(ADB)、云原生多模数据库Lindorm、企业级云数据库服务RDS后,今年阿里云率先提出“云原生数据库 2.0”理念,持续加码云数据库,推出一站式数据管理平台 DMS。
紧接着,在 9 月 26 日的阿里云数据库创新上云峰会暨第 3 届数据库性能挑战赛决赛颁奖典礼上,阿里云又推出全新一站式敏捷数据仓库解决方案,该方案结合一站式数据管理平台 DMS 及云原生数据仓库AnalyticDB,实现了库仓一体的技术架构,提供在线数据实时入仓、T+1 周期性快照、按需建仓等能力,数据延时低至秒级,持续赋能业务在线化,令企业在线数据释放最大价值。
打破数字化转型阵痛,一站式在线管理平台DMS释放数据价值
当下,数据成为土地、劳动力、资本、资本家才能后的第五生产要素,在社会的重要性日益凸显。然而在企业数据价值化的过程中,阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城观察到,开发者和企业遇到一些难题:
1、数据孤岛,管理复杂度:数据库种类繁多、最佳实践各不相同。 设计开发及维护门槛高, 容易出现质量、性能及稳定性问题。
2、加工复杂,“让数据用起来”成为难题:异构数据集成,数据加工架构复杂, 依赖专业的数据开发团队,链路诊断、运维门槛极高。
3、数据治理缺乏,安全问题凸出:零安全管控的数据开发应用环境,难以满足众多安全合规诉求。
阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城
对此,阿里云推出一站式数据管理平台 DMS 对企业全数据资产统一进行管理。DMS 无缝联动所有数据库,实现统一数据资产、数据库设计与开发、对数据集成与开发、存储、传输、加工、计算、管理,覆盖数据生产到应用的全生命周期。具备安全管理、容灾多活、数据库DevSecOps、T+1 实时归档、实时数仓构建、业务报表生产等业务应用,通过极致的数据传输与加工能力,打通 TP、AP、NoSQL 等数据库,打破数据孤岛让数据可直接用于分析,真正实现库仓一体和在离线一体化的处理和分析能力,为企业提供了低门槛的应用解决方案。
AnalyticDB,让数据分析向云原生+数据库大数据一体化加速演进
另外,随着企业数字化程度加深,数据在生产和处理上已发生质变,呈现以下趋势:一是数据规模呈爆炸性增长。据统计,2020 年全球数据规模达 40 ZB,预计 2025 年的数据规模是 2020 年的 4.3 倍,数据爆炸时代来临。二是数据生产和处理实时化的需求加剧,预计到 2025 年,实时数据占比达 30%,这将给数据库管理和计算带来挑战。三是数据生产和处理智能化需求。如今在海量数据中,非结构化数据占比达 80%,这将给传统针对结构化数据的关系型数据库带来巨大挑战,新一代非关系型数据库智能、实时在线化的需求越来越迫切。四是数据加速上云,预计到 2025 年数据存储云上规模达 49%。
阿里云研究员、数据库产品事业部OLAP产品部负责人占超群
与此同时,企业在处理数据时正面临数据一致性、分析实时性、系统复杂性、学习和运维成本增多等挑战。
对此,阿里云推出云原生数据仓库 AnalyticDB,帮助企业向云原生+数据库大数据一体化演进。AnalyticDB 采用存储计算分离+多副本架构,支持从 1 个节点到最大 5000 节点的实时按需弹性扩容,可实现 PB 级数据存储、查询秒级响应,使业务分析效率从天级提升到分钟级乃至秒级。AnalyticDB 有效解决在离线任务的融合处理、结构化和非结构化异构数据融合分析,以及大规模系统管理成本指数级增长等问题。
2019 年,在数据库与大数据权威评测机构 TPC 发布的面向复杂分析场景 TPC-DS 10TB 权威基准测试中,AnalyticDB 性能指标刷新世界纪录,荣登榜单第一名,成为全球最快实时数仓 。在 2020 年天猫全球狂欢季中,AnalyticDB 支持了超过130个业务方,每秒实时写入或更新高达 2.1 亿,实时处理数据规模为 7.7 万亿,每秒交互式分析请求高达 17 万,AnalyticDB 有效帮助双11大量商家和用户完成实时决策。
DMS+AnalyticDB 强强联合,打造全新一站式敏捷数据仓库解决方案
企业在打造数据仓库时,传统方式是基于T+1数据集成构建离线数仓,以支撑企业各项分析与服务。如此一来,不但会影响线上业务稳定性,难以支持企业的实时需求,且整个数据加工链路长,成本高,时间不可控,还有生产库密码泄露等安全隐患。
对此,结合上文提到的一站式数据管理平台DMS及云原生数据仓库AnalyticDB,阿里云推出一站式敏捷数据仓库解决方案,来支持业务数据实时入仓+增删改查、基于拉链表的T+1周期性快照等功能,充分满足企业应用场景对生产数据进行实时分析的需求,如:促销大屏、监控报表、精准营销、交互式运营分析等。
据悉,阿里云一站式敏捷数据仓库解决方案有如下4大核心优势,有效帮助企业降本增效:
1、对业务侧影响小,不会因为数据汇聚集中和实时加工影响业务侧正常运行,CPU、内存占用低于5%;
2、事务顺序和数据准确性有保障,且处理链路短,支持在线数据实时处理落仓,效率更高。数据传输效率100m/s,数据延时在10秒内;
3、支持复杂实时数据加工、计算逻辑;
4、低代码操作,能够大大降低实时数仓的构建难度,提升构建效率的同时,支撑企业数字化转型过程中的各类实时场景。
目前,阿里云一站式敏捷数据仓库解决方案已广泛应用于金融、数字政府、零售、泛互联网等行业,帮助企业建设数字化转型的基础底座。
结语
在不断打磨技术、丰富云原生数据库产品矩阵之余,阿里云还推出三大计划,助力产业向云原生数据库升级:2020年,阿里云发布“去 O 计划”,宣布致力帮助1000家企业“去O”,完成10000 套传统数据仓库上云。2020 年 8 月,阿里云推出“升舱计划”,助力金融、政务、电信等客户将传统数据仓库全面升级至云原生数据仓库,致力满足企业对数仓产品实时化、弹性扩展、高性价比及安全可控的诉求。今年 5 月,阿里云宣布开源云原生数据库能力,对外开放关系型数据库 PolarDB for PostgreSQL 的源代码,携手广大开发者共建云原生数据库2.0生态。
阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞
最后,谈及未来云原生数据库发展的核心目标,阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞用了三个词:Any data(键值、文档、图、时序、空天),Any Scale(存计分离、线性扩展、全球高可用),Any Workload(事务处理与分析混合负载)。具体涵盖以下方向:
1、云原生+分布式
未来数据库云原生+分布式一定是标配,用云原生的方式构建数据库系统,资源池化,资源持有,分布式不是其中一个选项,而是必选项。
2、智能化
涵盖 AI4DB 和 DB4AI,利用AI、机器学习的技术使能数据库运维管控智能化,进行系统的监控、调度、参数调优和索引推荐等操作。
3、安全可信
随着《数据安全法》的出台,数据的安全可信已成为共识,我们需确保数据库的处理全链路过程中具备加密、安全,可信的能力,这是重要的发展趋势。
4、多模数据处理。面对物联网、车联网新场景产生的海量数据,如何对这些新场景打造的新型多模数据库非常重要。
5、一站式数据处理平台
企业可能采用多个数据处理引擎,但有了一站式数据处理平台,用户无需关心具体使用哪种类型的数据库,一站式数据管理平台可以让数据无缝流转,让开发者更便捷地访问和处理数据。
阿里云数据库始终以市场为导向,以产品为核心,以技术为基础。同时拥有庞大的客户群体,历经各行业实践验证,不断地贴近客户需求,深入理解他们的需求,这是技术演进最大的驱动力。
目前,阿里云服务十年以上的企业有近万家,云数据库产品和技术服务已广泛应用于国税总局、中国邮政、中国人寿、中国太保、中国南方航空、友邦保险等客户,并全面部署在核心系统之中,助力全社会数字化转型。