剑指云原生数据库 2.0,阿里云发布全新一站式敏捷数据仓库解决方案

作为基础软件“三驾马车”之一的数据库,其发展历程可追溯到60年前:从上世纪50年代的层次数据库、网状数据库,70年代的关系型数据库,再到90年代的关系型数据库、数据仓库、PC单机数据库和 2000 年的开源数据库,Oracle等国际巨头始终占领数据库领域的垄断地位。2010 年,伴随云计算发展和云数据库的崛起,以阿里云为代表的中国厂商在国际上崭露头角。

据 Gartner 发布的《2020 年度全球数据库魔力象限报告》显示,阿里云进入全球数据库领导者象限,这是中国数据库 40 年来首次进入全球顶级数据库行列。

随着云原生时代的来临,阿里巴巴瞄准机遇,十多年前开始抢先布局云数据库:
在这里插入图片描述
2009 年,率先提出升级传统商业数据库,用开源的 MySQL 替代 Oracle。
2010 年,基于 MySQL 着手打造开源数据库 AliSQL,并对淘宝商品库进行改造。
2013 年 7 月,淘宝最后一个 Oracle 数据库下线。
2016 年,阿里巴巴开始自研首个分布式数据库。
2017 年,推出国内首个云原生关系型数据库 PolarDB,计算能力最高可扩展至 1000 核以上,性能比 MySQL 高 6 倍。
2019年6月, 阿里云进入全球云数据库市场份额前三、亚太市场第一
2019 年 7月 ,云原生数据仓库 AnalyticDB 登顶 TPC-DS,成全球最快实时数仓。
2020 年 8 月,阿里云数据库市场份额跃居国内第一,首次超过传统数据库。
2020年11月, 阿里云首次进入Gartner全球数据库领导者象限,这也是中国数据库40年来首次迈入全球顶级数据库行列

阿里云一直深耕云数据库领域:在打造出云原生关系型数据库 PolarDB、云原生分布式数据库 PolarDB-X、云原生数据仓库 AnalyticDB(ADB)、云原生多模数据库Lindorm、企业级云数据库服务RDS后,今年阿里云率先提出“云原生数据库 2.0”理念,持续加码云数据库,推出一站式数据管理平台 DMS。
在这里插入图片描述
紧接着,在 9 月 26 日的阿里云数据库创新上云峰会暨第 3 届数据库性能挑战赛决赛颁奖典礼上,阿里云又推出全新一站式敏捷数据仓库解决方案,该方案结合一站式数据管理平台 DMS 及云原生数据仓库AnalyticDB,实现了库仓一体的技术架构,提供在线数据实时入仓、T+1 周期性快照、按需建仓等能力,数据延时低至秒级,持续赋能业务在线化,令企业在线数据释放最大价值。

打破数字化转型阵痛,一站式在线管理平台DMS释放数据价值

当下,数据成为土地、劳动力、资本、资本家才能后的第五生产要素,在社会的重要性日益凸显。然而在企业数据价值化的过程中,阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城观察到,开发者和企业遇到一些难题:

1、数据孤岛,管理复杂度:数据库种类繁多、最佳实践各不相同。 设计开发及维护门槛高, 容易出现质量、性能及稳定性问题。
2、加工复杂,“让数据用起来”成为难题:异构数据集成,数据加工架构复杂, 依赖专业的数据开发团队,链路诊断、运维门槛极高。
3、数据治理缺乏,安全问题凸出:零安全管控的数据开发应用环境,难以满足众多安全合规诉求。

在这里插入图片描述
阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城

对此,阿里云推出一站式数据管理平台 DMS 对企业全数据资产统一进行管理。DMS 无缝联动所有数据库,实现统一数据资产、数据库设计与开发、对数据集成与开发、存储、传输、加工、计算、管理,覆盖数据生产到应用的全生命周期。具备安全管理、容灾多活、数据库DevSecOps、T+1 实时归档、实时数仓构建、业务报表生产等业务应用,通过极致的数据传输与加工能力,打通 TP、AP、NoSQL 等数据库,打破数据孤岛让数据可直接用于分析,真正实现库仓一体和在离线一体化的处理和分析能力,为企业提供了低门槛的应用解决方案。

AnalyticDB,让数据分析向云原生+数据库大数据一体化加速演进

另外,随着企业数字化程度加深,数据在生产和处理上已发生质变,呈现以下趋势:一是数据规模呈爆炸性增长。据统计,2020 年全球数据规模达 40 ZB,预计 2025 年的数据规模是 2020 年的 4.3 倍,数据爆炸时代来临。二是数据生产和处理实时化的需求加剧,预计到 2025 年,实时数据占比达 30%,这将给数据库管理和计算带来挑战。三是数据生产和处理智能化需求。如今在海量数据中,非结构化数据占比达 80%,这将给传统针对结构化数据的关系型数据库带来巨大挑战,新一代非关系型数据库智能、实时在线化的需求越来越迫切。四是数据加速上云,预计到 2025 年数据存储云上规模达 49%。

在这里插入图片描述
阿里云研究员、数据库产品事业部OLAP产品部负责人占超群

与此同时,企业在处理数据时正面临数据一致性、分析实时性、系统复杂性、学习和运维成本增多等挑战。

对此,阿里云推出云原生数据仓库 AnalyticDB,帮助企业向云原生+数据库大数据一体化演进。AnalyticDB 采用存储计算分离+多副本架构,支持从 1 个节点到最大 5000 节点的实时按需弹性扩容,可实现 PB 级数据存储、查询秒级响应,使业务分析效率从天级提升到分钟级乃至秒级。AnalyticDB 有效解决在离线任务的融合处理、结构化和非结构化异构数据融合分析,以及大规模系统管理成本指数级增长等问题。

2019 年,在数据库与大数据权威评测机构 TPC 发布的面向复杂分析场景 TPC-DS 10TB 权威基准测试中,AnalyticDB 性能指标刷新世界纪录,荣登榜单第一名,成为全球最快实时数仓 。在 2020 年天猫全球狂欢季中,AnalyticDB 支持了超过130个业务方,每秒实时写入或更新高达 2.1 亿,实时处理数据规模为 7.7 万亿,每秒交互式分析请求高达 17 万,AnalyticDB 有效帮助双11大量商家和用户完成实时决策。

DMS+AnalyticDB 强强联合,打造全新一站式敏捷数据仓库解决方案

企业在打造数据仓库时,传统方式是基于T+1数据集成构建离线数仓,以支撑企业各项分析与服务。如此一来,不但会影响线上业务稳定性,难以支持企业的实时需求,且整个数据加工链路长,成本高,时间不可控,还有生产库密码泄露等安全隐患。
在这里插入图片描述
对此,结合上文提到的一站式数据管理平台DMS及云原生数据仓库AnalyticDB,阿里云推出一站式敏捷数据仓库解决方案,来支持业务数据实时入仓+增删改查、基于拉链表的T+1周期性快照等功能,充分满足企业应用场景对生产数据进行实时分析的需求,如:促销大屏、监控报表、精准营销、交互式运营分析等。

据悉,阿里云一站式敏捷数据仓库解决方案有如下4大核心优势,有效帮助企业降本增效:

1、对业务侧影响小,不会因为数据汇聚集中和实时加工影响业务侧正常运行,CPU、内存占用低于5%;
2、事务顺序和数据准确性有保障,且处理链路短,支持在线数据实时处理落仓,效率更高。数据传输效率100m/s,数据延时在10秒内;
3、支持复杂实时数据加工、计算逻辑;
4、低代码操作,能够大大降低实时数仓的构建难度,提升构建效率的同时,支撑企业数字化转型过程中的各类实时场景。

目前,阿里云一站式敏捷数据仓库解决方案已广泛应用于金融、数字政府、零售、泛互联网等行业,帮助企业建设数字化转型的基础底座。

结语

在不断打磨技术、丰富云原生数据库产品矩阵之余,阿里云还推出三大计划,助力产业向云原生数据库升级:2020年,阿里云发布“去 O 计划”,宣布致力帮助1000家企业“去O”,完成10000 套传统数据仓库上云。2020 年 8 月,阿里云推出“升舱计划”,助力金融、政务、电信等客户将传统数据仓库全面升级至云原生数据仓库,致力满足企业对数仓产品实时化、弹性扩展、高性价比及安全可控的诉求。今年 5 月,阿里云宣布开源云原生数据库能力,对外开放关系型数据库 PolarDB for PostgreSQL 的源代码,携手广大开发者共建云原生数据库2.0生态。

在这里插入图片描述
阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞

最后,谈及未来云原生数据库发展的核心目标,阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞用了三个词:Any data(键值、文档、图、时序、空天),Any Scale(存计分离、线性扩展、全球高可用),Any Workload(事务处理与分析混合负载)。具体涵盖以下方向:

1、云原生+分布式
未来数据库云原生+分布式一定是标配,用云原生的方式构建数据库系统,资源池化,资源持有,分布式不是其中一个选项,而是必选项。

2、智能化
涵盖 AI4DB 和 DB4AI,利用AI、机器学习的技术使能数据库运维管控智能化,进行系统的监控、调度、参数调优和索引推荐等操作。

3、安全可信
随着《数据安全法》的出台,数据的安全可信已成为共识,我们需确保数据库的处理全链路过程中具备加密、安全,可信的能力,这是重要的发展趋势。

4、多模数据处理。面对物联网、车联网新场景产生的海量数据,如何对这些新场景打造的新型多模数据库非常重要。

5、一站式数据处理平台
企业可能采用多个数据处理引擎,但有了一站式数据处理平台,用户无需关心具体使用哪种类型的数据库,一站式数据管理平台可以让数据无缝流转,让开发者更便捷地访问和处理数据。
在这里插入图片描述
阿里云数据库始终以市场为导向,以产品为核心,以技术为基础。同时拥有庞大的客户群体,历经各行业实践验证,不断地贴近客户需求,深入理解他们的需求,这是技术演进最大的驱动力。

目前,阿里云服务十年以上的企业有近万家,云数据库产品和技术服务已广泛应用于国税总局、中国邮政、中国人寿、中国太保、中国南方航空、友邦保险等客户,并全面部署在核心系统之中,助力全社会数字化转型。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/513916.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度 | 面向云原生数据湖的元数据管理技术解析

简介: 作者:沐远、明惠 背景 数据湖当前在国内外是比较热的方案,MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。一些企业已经构建了自己的云原生数据湖方案,有效解决了业务痛点…

sql中“delete from 表名”表示_SQL查询语句知识点总结

为什么要学习SQL?数据分析岗位的基础技能:SQL语句和会使用SQL语句操纵数据库软件;数据量增大的工具需求:excel处理十万以内的数据;数据量增大,需要使用更快速便捷的工具分析数据。SQL知识点总结1数据库基础知识什么是…

Serverless 可观测性的过去、现在与未来

简介: 函数计算可观测性经历了 1.0 -> 2.0 的发展,从闭门造车的可观测发展成开源的可观测,从平台的可观测发展为开发者的可观测,从FaaS Only 的可观测演进成了云原生的可观测。 作者:夏莞 背景 Serverless 将成为…

Gartner:全行业投入人工智能,计算机视觉占比最高

编辑 | 宋慧 供稿 | Gartner Gartner最近一项新调研发现,三分之一拥有人工智能(AI)技术计划的技术和服务提供商企业机构表示,他们在未来两年对人工智能技术的投资将达到100万美元以上。绝大多数将人工智能技术作为主要投资领域的…

爱奇艺大数据生态的实时化建设

简介: 实时化是大数据未来最重要的方向之一。 作者|爱奇艺大数据团队 数据作为互联网时代的基础生产资料,在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现,大致而言可以分成三类: 发掘数据中的信息…

python机械臂仿真_基于Python的3R机器人运动仿真

一、问题描述 如右图所示的三自由度机械臂,关节1和关节2相互垂直,关节2和关节3相互平行。如图所示,所有关节均处于初始状态。 要求: (1) 定义并标注出各关节的正方向; (2) 定义机器人基坐标系{0}及连杆坐标…

AI 事件驱动场景 Serverless 实践

简介: 事件驱动是指事件在持续事务管理过程中,进行决策的一种策略。可以通过调动可用资源执行相关任务,从而解决不断出现的问题。通俗地说是当用户触发使用行为时对用户行为的响应。在 Serverless 场景下,事件驱动完美符合其设计初…

运维质变育新机,华为云能否引领政企运维破局?

头图 | 付费下载于视觉中国 提到IT运维,我们马上想到的,就是“7*24小时待命”、“救火”。作为IT安全运行的保障,长久以来,运维一直都是“不出事看不到价值,一出事全是锅”的角色。例如某企业自动化运维失效导致宕机…

封神-运维大脑 | 日志检测工具

简介: 封神-运维大脑 | 日志检测工具1. 背景目标 阿里云应用业务有问题,云平台监控可以发现问题,但并不能定位到问题根本原因,运维大脑监控底层日志,可快速定位问题原因,帮助现场运维同学解决问题。 运维大…

hive sql练习_经典的SparkSQL/Hive-SQL/MySQL面试-练习题

经典的SparkSQL/Hive-SQL/MySQL面试-练习题​mp.weixin.qq.com第一题需求:已知一个表order,有如下字段:date_time,order_id,user_id,amount。 数据样例:2020-10-10,1003003981,00000001,1000,请用sql进行统…

世纪联华的 Serverless 之路

简介: 2019 年 双11 过后,世纪联华快速上云,将线上核心业务改造为全 Serverless 架构的中台模式,采用“函数计算API 网关OTS”作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑 618 / 双11 /…

“5G+AI”到底有啥用?这篇漫画告诉你答案…

作者|小枣君来源|鲜枣课堂根据工信部最新的数据,截至8月份,我国5G基站数量已超过百万,达到103.7万个。面对这张全球规模最大的5G网络,我们不禁会思考——它究竟会发挥怎样的作用?它的价值到底体现在哪?它会…

Kubernetes 稳定性保障手册 -- 可观测性专题

简介: 伴随大家对稳定性重视程度的不断提升、社区可观测性项目的火热,可观测性成为了一个很热门的话题,站在不同的角度会产生不同的理解。 我们从软件开发的生命周期出发,尝试形成对可观测性的一个宏观理解,并从 SRE 和…

读懂 Redis 源码,我总结了这7点心得

作者|Magic Kaito来源|水滴与银弹阅读本文大约需要 8 分钟。你好,我是 Kaito。用了这么久的 Redis,也翻了很多次源码,经常有人问我到底怎么读 Redis 源码。一提到读源码,很多人都会比较畏惧,认为读源码是高手才会做的事…

linux c url下载文件,OpenCV教程之使用cmake生成MakeFile时下载文件

在编译OpenCV以及其附加模块时,有时会需要一些第三方的库,如果本地没有,会自动下载,下载地址一般为GitHub,结果当然就是卡死在那里,根本无法下载,下面教大家如何解决这种问题。问题重现比如我在…

OpenTelemetry 简析

简介: OpenTelemetry 是 CNCF 的一个可观测性项目,旨在提供可观测性领域的标准化方案,解决观测数据的数据模型、采集、处理、导出等的标准化问题,提供与三方 vendor 无关的服务。 2021.02.10,OpenTelemetry 的 tracing…

涨姿势 | 一文读懂备受大厂青睐的ClickHouse高性能列存核心原理

简介: 本文尝试解读ClickHouse存储层的设计与实现,剖析它的性能奥妙 作者:和君 引言 ClickHouse是近年来备受关注的开源列式数据库,主要用于数据分析(OLAP)领域。目前国内各个大厂纷纷跟进大规模使用&…

xp正版验证补丁_实操web漏洞验证——IIS HTTP.sys 整数溢出漏洞

一、漏洞描述Http.sys 是一个位于 Windows 操作系统核心组件,能够让任何应用程序通过它提供的接口,以 Http 协议进行信息通讯。微软在 Windows 2003 Server 里引进了新的 HTTP API 和内核模式驱动 Http.sys,目的是使基于 Http 服务的程序更有…

普通公司编程水平与BAT大厂相比,差距到底有多大?

前言BAT的牛人多,普通人也多,虽然他们不是每个人都能达到令人仰望的技术水平,但毕竟平台高,所以眼光会变得宽阔;代码要求更为严格,所以普通的程序员也会被逼变得更优秀;身边的牛人多&#xff0c…

mindi linux 使用教程,Linux使用入门教程之tuned

tuned是RHEL6推出的调优工具,可以简单、动态的调整系统。默认的tuned软件包包含9个调优配置文件,对laptop、desktop、server系统的省电策略、磁盘调度算法、缓存、内存脏页回写等等的调节。tuned包安装后有两个服务,tuned和ktune,…