阿里下一代云分析型数据库AnalyticDB入选Forrester云化数仓象限

前言

近期, 全球权威IT咨询机构Forrester发布"The Forrester Wave: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选。

AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索,帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。本文将深入解读AnalyticDB成功入选背后的核心产品以及带来的客户价值。

核心能力一:快和实时

分析型数据库AnalyticDB在瞬间即可对万亿级别的数据进行实时的多维度分析透视,快速发现数据价值。AnalyticDB对复杂SQL查询速度相比传统的关系型数据库快10倍,此外,AnalyticDB还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。三大模块合力构筑了远远领先竞争对手的性能优势:

  • 智能SQL优化器:针对复杂的SQL查询,AnalyticDB的SQL Optimizer 实现了多种查询改写优化,同时依据统计信息选择JOIN ORDERING最优路径,并支持 CTE 归并等功能。同时针对高并发低延迟查询,提供智能的 Plan cache,将相似SQL Pattern 计划都缓存起来,规避重复优化开销。
  • 曦和计算引擎: AnalyticDB 在2017年全面升级为新一代曦和分布式计算引擎,整体采用MPP架构,并支持DAG计算模型,节点内引入LLVM等运行时编译优化JIT技术,性能提升一倍以上。数据分析任务在曦和计算引擎内被打散成小颗粒的计算单元,引擎内置分时轮询的计算调度机制,可以保证高并发下作业任务的稳定运行。
  • 玄武存储引擎:AnalyticDB支持行列混合存储,同时针对不同的数据类型,当数据实时写入时,智能的构建多种维度索引,包括B+索引、区间索引、倒排索引、位图索引等,并对传统索引算法进行创新,引入动态过滤、延迟物化等方式,极大的降低I/O,实现高性能的点或范围的检索,支持千亿级记录关联分析。

核心能力二:超大规模

AnalyticDB是全分布式结构,使得数据库支持ECU节点动态线性扩容至数千节点。用户可以通过横向扩容来大幅度提升查询SQL响应速度、以及换来SQL处理高并发。

AnalyticDB 基于阿里云飞天系统构筑,AnalyticDB采用分层解耦架构,同时将分析计算、数据写入、索引构建等分离为不同节点,同时各种类型节点采用多活运行模式实现高可用,数据存储在盘古分布式文件系统上,实现高可靠和高性能读写I/O,在整体架构上实现了弹性扩展和高可用。AnalyticDB架构上每一层结构,都充分的考虑了规模化扩展性问题。

核心能力三:高并发实时写入和更新

由于无论是前端接入层、写入节点支持动态大规模扩展,客户可以从最小规模的10万TPS写入能力,通过横向扩容节点提升至1000万+TPS的写入能力,实时写入后,数据秒级别可见,从写入到分析整个数据延迟控制在秒级。

单个表最大支持PB级数据,十万亿记录,传统的数据仓库通常是离线Load数据模式,不具备实时高并发写入能力。正是由于具备海量数据实时写入能力,AnalyticDB数据分析时效性非常高,是企业数据离线计算转实时化的下一代核心解决方案。

核心能力四:灵活

AnalytiDB无论是前端接入层还是弹性计算层、以及数据存储层均是全分布式设计,全局无单点。外加存储计算分离结构,带来的优势是极度灵活。云上客户不仅可以随时进行灵活调整节点数量,还可以做实例规格的动态升降配。AnalytiDB同时支持在存储型的SATA实例和高性能的SSD实例间灵活切换。

举例来说: 可以从8个高性能的c4实例升到12个高性能的c8实例,或从12个c8降到8个c4,甚至从2个高性能c8节点切换至4个大存储SATA的s2n等,企业可以真正做到灵活控制成本。

核心能力五:易用

AnalyticDB作为云端托管的PB级SQL数据仓库,高度兼容MySQL协议和SQL:2003,通过标准SQL和常用的BI工具、以及ETL工具平台即可轻松使用。同时结合阿里云数据传输服务(DTS) + 数据可视化配套(DataV & QuickBI), 轻松拖拽式即可完成企业的实时数据仓库建设。AnalyticDB旨在帮助企业降低实时数据化运营的建设门槛。

微案例:为企业解决数据化建设效率和性能难题

递四方集团(4PX)是领先的跨境电商物流服务提供商。递四方信息科技团队在建设了多年的离线数据平台后,需要短时间内建设PB级别实时数据平台支持数字化运营。递四方信息科技在调研了一系列的解决方案后,综合成本和建设效率等因素,最后选择了基于AnalyticDB来构建实时数据平台。 双方通力合作,在极短时间内通过DTS+AnalyticDB+DataV/QuickBI套件,以简单快速的拖拽配置方式完成了4PX企业实时数仓的初期基础建设。

无他相机作为一款流行的拍照智能App, 有各种用户和App数据需要上报做实时分析,以帮助运营人员做活动效果分析以及开发人员做App分析,不断优化用户体验和App质量。数据总量约100亿,需实时入库更新,客户最早期的方案是MySQL,后续换成了MongoDB,解决了实时写入问题,但是分析性能巨慢。在使用了分析型数据库的存储型实例后,将业务数据直接写入AnalyticDB,不但解决了实时高并发写入问题,复杂分析性能从40分钟+降低到秒级别,高分期QPS 1800+。

 

典型行业客户-他们也在使用AnalyticDB

 

展望未来:储备更多创新力量 + 构筑更丰富的生态

分析型数据库AnalyticDB,作为阿里巴巴下一代PB级实时数据仓库, 承载着整个集团内和云上客户的数据价值实时化分析的使命。此次报告可以看出,整个大数据企业服务迈入CDW阶段,灵活、易用、自助化服务成为主流趋势,AnalyticDB接下来将在易用性、数据通道、任务管理、可视化等周边生态建设上继续做广、做深。同时也为未来储备了一些核心力量,并取得阶段性的进展:

  1. 分析型数据库AnalyticDB首次在“双11 全球狂欢节” 采用GPU加速加速技术,在计算成本大幅降低的情况下,服务全球商家将数据分析从离线进入在线时代,支撑PB级数据从T+1计算提速到秒级实时分析。
  2. 向量分析首次支撑银泰、盒马等新零售场景的人脸识别、算法推荐、结构化数据实时融合分析,毫秒级打通线上线下会员体系,支撑实时数据化线下互动、营销。

AnalyticDB为数据价值在线化而生,作为实时云数据仓库平台,希望能将最领先的下一代实时数仓能力普惠给所有企业,帮助企业转型加速数据价值探索和在线化。

 

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520469.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

俄罗斯互联网的BAT

戳蓝字“CSDN云计算”关注我们哦!作者|挖数责编|阿秃1961年,尤里米尔纳 出生在莫斯科一个犹太人家庭,他的父亲是一名经济学家,母亲是一名医生,他儿时的梦想是成为科学家。高中毕业后&#xff0c…

fiq中断的入口地址_嵌入式技巧:ARM的三种中断调试方法介绍

嵌入式软件开发流程参照嵌入式软件的开发流程。第一步:工程建立和配置。第二步:编辑源文件。第三步:工程编译和链接。第四步:软件的调试。第五步:执行文件的固化。在整个流程中,用户首先需要建立工程并对工…

一文带你领略虚拟化领域顶级技术会议KVM Forum 2018

KVM Forum是由Linux基金会组织的高端技术论坛会议,主要为社区各个维护者,开发人员,和用户提供一个讨论Linux虚拟化技术发展趋势以及挑战的交流场所。参会人员都集中在KVM虚拟化相关领域,是KVM社区最为重要和权威的大会。 概述 2…

直击KubeCon 2018 |云原生正在改变你的衣食住行

云计算从不被看好到成长为势不可挡的技术潮流,仅仅用了十年的时间。如今“云原生”又被企业以及开发者奉为圭臬,并被认为是云计算的未来。 阿里云容器技术负责人易立认为云计算有三个阶段:云搬迁、云就绪和云原生。 第一个阶段是为了降低成…

玩大了!别再埋头学Python了,它真的无用!

在知乎上有一个特别火的问题:如何学Python?你会看到很多高赞回答是:我一天就学完了。在大家群嘲的背后,我们来分析一下,为什么在已经学过的人眼里,Python这么容易学,甚至简单到被某些人鄙视呢&a…

2020洪灾地图_卫星地图看洪灾:为何湖北易发洪水?

▲7月6日,武昌江滩凉亭被淹没。图片来源:中国气象局疫情甫定,洪水又来。入汛以来,长江中下游地区的日子并不好过。荆楚大地湖北遭遇多轮强降雨,引发严重洪涝灾害,让我们不禁将目光再次聚焦这里。荆楚大地为…

双十一高并发场景背后的数据库RDS技术揭秘

【战报】11月11日聚石塔(阿里云数据库RDS产品形态)峰值QPS突破X00w,Proxy 峰值QPS超过X00w。 双十一就要来了,全世界都为其疯狂,但是在双十一抢购中经常会出现几万人抢一个红包或者很多人共同购买一个商品的情况&…

Vue优化策略_项目发布_01

文章目录一、移除console 策略1. 命令1.1. 插件官网:1.2. 安装babel-plugin-transform-remove-console1.3. 在babel.config.js或者.babelrc文件中配置2. 图形化(推荐使用)2.1. 在线图形化安装插件2.2. 在babel.config.js或者.babelrc文件中配置二、生成打包报告1. 通…

双十一流量洪峰 支撑阿里核心业务的云数据库揭秘

背景介绍 今年双十一又有新纪录刷新,21秒成交额超10亿,数据瞬间膨胀到PB级,包裹数亿级,严苛的指标对数据库产品提出了更严格的需求。HybridDB作为阿里云自研的HTAP数据库经受住了流量洪峰的考验,顺利的完成了2019年双…

乘法原理的例题和答案_吃透高考数学17个必考题型,基础再差也能考130!(内附解题技巧+例题解析)...

2019高考数学难度比例为7:2:1,也就是说80%都是基础题。然而数学却是高考中最拉分的。90%的学生都缺少一套科学,高效的提分方法,尤其到了冲刺阶段!为此,我们为大家整理了高考数学历年17个必考题型…

为何“爱辞职”成为了90后的又一标签?

戳蓝字“CSDN云计算”关注我们哦!作者 | AlfredWu责编 | 阿秃金三银四金九银十,又到了每年的秋招时节。在各企业HR狂刷简历企图招贤纳士的同时,内部年轻员工心中实则也暗流涌动:他们有些已提交了辞呈,有些在骑驴找马物…

双11大考 POLARDB分钟级弹性让企业轻松扩展

POLARDB优势解读系列文章之——分钟级弹性 无处不在的脉冲计算 阿里有双11,中国有春运,高考后有分数出来的那天,歌迷心中有周杰伦演唱会门票在线开售之时。。。。有人的地方就有江湖,有人的地方也有脉冲计算,这些热点…

Vue优化策略_项目上线_02

接上一篇:Vue优化策略_项目发布_01 https://gblfy.blog.csdn.net/article/details/105359879 文章目录一、通过node创建web服务器1. 创建文件夹2. 初始化包管理配置文件3. 安装express插件4. 复制vue打包后dist5. 创建app.js配置6. 运行项目并浏览器访问二、开启gzi…

深度解析双十一背后的阿里云 Redis 服务

在一片欢呼之中,2018年的双十一完美收官,各项数据不出意外的刷出了新的记录,亮眼的数据背后是阿里过硬的技术支撑。其中阿里云Redis不仅保障了阿里集团内部业务双十一的流量洪峰平稳度过,也让使用阿里云Redis的各个客户度过了一个…

oracle中prad函数_等保测评2.0:Oracle身份鉴别

一、说明本篇文章主要说一说oracle数据库中身份鉴别控制点中测评项a的相关内容和理解。二、测评项aa)应对登录的用户进行身份标识和鉴别,身份标识具有唯一性,身份鉴别信息具有复杂度要求并定期更换;三、测评项a要求1应对登录的用户进行身份标…

区块链真的会火吗?

区块链的境地如何?2019年10月25日,应该是区块链技术人以及对区块链感兴趣的人狂欢的一天,因为在那天国家领导人发表讲话,将区块链作为核心技术自主创新重要突破,随着这个新闻爆出,区块链市场炸开了锅&#…

双11奇迹背后的大数据平台,不喧哗,自有声!

00:02:05 成交额超100亿 00:57:56 成交额超666亿 01:47:26 成交额超1000亿 15:49:39 成交额超1682亿 22:28:37 成交额超2000亿 2018年双11新纪录2135亿 高速跳转的数字,不断刷新的状态,光缆中狂奔的代码,键盘上飞舞的手指… 新的记录 绝非十…

阿里云推PostgreSQL 10 高可用版

2015年,阿里云宣布正式推出RDS for PostgreSQL服务,届时,阿里云成为国内首家同时支持MySQL、SQL Server 和PostgreSQL关系型数据库的云计算服务商。 用户在云上就能享受PostgreSQL引擎带来的对SQL标准和NoSQL的高度兼容、强大的处理复杂查询能力、以及丰…

百度万亿流量的转发引擎BFE开源了!华为折叠屏曝光,采用传统翻盖式手机折叠方案;微软将关闭安卓iOS平台Cortana……...

关注并标星星CSDN云计算 速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周两次,打卡即read更快、更全了解泛云圈精彩newsgo go goOPPO Realme 5s(图片来源网络&#xf…

《TableStore最佳实践:GEO索引打造店铺搜索系统》

一、方案背景 对于一套GEO管理系统,其核心点与瓶颈在于数据库的存储性能与查询能力;一方面,存储服务需要应对海量数据的低延迟存、读,另一方面,存储服务也要提供高效的GEO多维度数据检索。表格存储(TableS…