阿里巴巴下一代云分析型数据库AnalyticDB入选Forrester Wave™ 云数仓评估报告 解读

前言
近期, 全球权威IT咨询机构Forrester发布"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选 !AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索,帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。本文将深入解读AnalyticDB成功入选背后的核心产品以及带来的客户价值。

核心能力一:快和实时

分析型数据库AnalyticDB在瞬间即可对万亿级别的数据进行实时的多维度分析透视,快速发现数据价值。AnalyticDB对复杂SQL查询速度相比传统的关系型数据库快10倍,此外,AnalyticDB还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。三大模块合力构筑了远远领先竞争对手的性能优势:

智能SQL优化器:针对复杂的SQL查询,AnalyticDB的SQL Optimizer 实现了多种查询改写优化,同时依据统计信息选择JOIN ORDERING最优路径,并支持 CTE 归并等功能。同时针对高并发低延迟查询,提供智能的 Plan cache,将相似SQL Pattern 计划都缓存起来,规避重复优化开销。

曦和计算引擎: AnalyticDB 在2017年全面升级为新一代曦和分布式计算引擎,整体采用MPP架构,并支持DAG计算模型,节点内引入LLVM等运行时编译优化JIT技术,性能提升一倍以上。数据分析任务在曦和计算引擎内被打散成小颗粒的计算单元,引擎内置分时轮询的计算调度机制,可以保证高并发下作业任务的稳定运行。

玄武存储引擎:AnalyticDB支持行列混合存储,同时针对不同的数据类型,当数据实时写入时,智能的构建多种维度索引,包括B+索引、区间索引、倒排索引、位图索引等,并对传统索引算法进行创新,引入动态过滤、延迟物化等方式,极大的降低I/O,实现高性能的点或范围的检索,支持千亿级记录关联分析。

核心能力二:超大规模
AnalyticDB是全分布式结构,使得数据库支持ECU节点动态线性扩容至数千节点。用户可以通过横向扩容来大幅度提升查询SQL响应速度、以及换来SQL处理高并发。 AnalyticDB 基于阿里云飞天系统构筑,AnalyticDB采用分层解耦架构,同时将分析计算、数据写入、索引构建等分离为不同节点,同时各种类型节点采用多活运行模式实现高可用,数据存储在盘古分布式文件系统上,实现高可靠和高性能读写I/O,在整体架构上实现了弹性扩展和高可用。AnalyticDB架构上每一层结构,都充分的考虑了规模化扩展性问题。


**
核心能力三:高并发实时写入和更新**

由于无论是前端接入层、写入节点支持动态大规模扩展,客户可以从最小规模的10万TPS写入能力,通过横向扩容节点提升至1000万+TPS的写入能力,实时写入后,数据秒级别可见,从写入到分析整个数据延迟控制在秒级。

单个表最大支持PB级数据,十万亿记录,传统的数据仓库通常是离线Load数据模式,不具备实时高并发写入能力。正是由于具备海量数据实时写入能力,AnalyticDB数据分析时效性非常高,是企业数据离线计算转实时化的下一代核心解决方案。

核心能力四:灵活

AnalytiDB无论是前端接入层还是弹性计算层、以及数据存储层均是全分布式设计,全局无单点。外加存储计算分离结构,带来的优势是极度灵活。云上客户不仅可以随时进行灵活调整节点数量,还可以做实例规格的动态升降配。AnalytiDB同时支持在存储型的SATA实例和高性能的SSD实例间灵活切换。

举例来说: 可以从8个高性能的c4实例升到12个高性能的c8实例,或从12个c8降到8个c4,甚至从2个高性能c8节点切换至4个大存储SATA的s2n等,企业可以真正做到灵活控制成本。

核心能力五:易用

AnalyticDB作为云端托管的PB级SQL数据仓库,高度兼容MySQL协议和SQL:2003,通过标准SQL和常用的BI工具、以及ETL工具平台即可轻松使用。同时结合阿里云数据传输服务(DTS) + 数据可视化配套(Datav & QuickBI), 轻松拖拽式即可完成企业的实时数据仓库建设。AnalyticDB旨在帮助企业降低实时数据化运营的建设门槛。

为企业解决数据化建设效率和性能难题

递四方集团(4PX)是领先的跨境电商物流服务提供商。递四方信息科技团队在建设了多年的离线数据平台后,需要短时间内建设PB级别实时数据平台支持数字化运营。递四方信息科技在调研了一系列的解决方案后,综合成本和建设效率等因素,最后选择了基于AnalyticDB来构建实时数据平台。 双方通力合作,在极短时间内通过
DTS+AnalyticDB+DataV/QuickBI套件,以简单快速的拖拽配置方式完成了4PX企业实时数仓的初期基础建设。


无他相机作为一款流行的拍照智能App, 有各种用户和App数据需要上报做实时分析,以帮助运营人员做活动效果分析以及开发人员做App分析,不断优化用户体验和App质量。数据总量约100亿,需实时入库更新,客户最早期的方案是MySQL,后续换成了MongoDB,解决了实时写入问题,但是分析性能巨慢。在使用了分析型数据库的存储型实例后,将业务数据直接写入AnalyticDB,不但解决了实时高并发写入问题,复杂分析性能从40分钟+降低到秒级别,高分期QPS 1800+。

典型行业客户-他们也在使用AnalyticDB

展望未来:储备更多创新力量 + 构筑更丰富的生态

分析型数据库AnalyticDB,作为阿里巴巴下一代PB级实时数据仓库, 承载着整个集团内和云上客户的数据价值实时化分析的使命。此次报告可以看出,整个大数据企业服务迈入CDW阶段,灵活、易用、自助化服务成为主流趋势,AnalyticDB接下来将在易用性、数据通道、任务管理、可视化等周边生态建设上继续做广、做深。同时也为未来储备了一些核心力量,并取得阶段性的进展:

  1. 分析型数据库AnalyticDB首次在“双11 全球狂欢节” 采用GPU加速加速技术,在计算成本大幅降低的情况下,服务全球商家将数据分析从离线进入在线时代,支撑PB级数据从T+1计算提速到秒级实时分析。
  2. 向量分析首次支撑银泰、盒马等新零售场景的人脸识别、算法推荐、结构化数据实时融合分析,毫秒级打通线上线下会员体系,支撑实时数据化线下互动、营销。

AnalyticDB为数据价值在线化而生,作为实时云数据仓库平台,希望能将最领先的下一代实时数仓能力普惠给所有企业,帮助企业转型加速数据价值探索和在线化。
查的慢,就用AnalyticDB!

 

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520396.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

广州云栖大会:阿里云携手虎牙,首次落地直播行业边缘节点及云企业网服务

2018年11月22日,由阿里巴巴集团主办的广东省大数据开发者大会暨2018广东云栖大会在广州正式召开,其中以助力游戏企业畅游全球为主题的游戏云专场也在上午如期举办。 在游戏云专场中,阿里云高级商务专家李知明首先发言:边缘计算节点…

一行 Python 代码能实现这么多丧心病狂的功能?(代码可复制)

最近看知乎上有一篇名为《一行 Python 能实现什么丧心病狂的功能?》(https://www.zhihu.com/question/37046157)的帖子,点进去发现一行Python代码可以做这么多丧心病狂的功能!整理了一下知乎上这篇文章的内容&#xff…

测试私有方法_史上最轻量!阿里开源了新型单元测试Mock工具

点击上方蓝色字体,选择“设为星标”回复”666“获取面试宝典TestableMock是基于源码和字节码增强的Java单元测试辅助工具,包含以下功能:访问被测类私有成员:使单元测试能直接调用和访问被测类的私有成员,解决私有成员初…

阿里云云效如何保障双11大型项目管理

每一年双11对阿里巴巴来说都是一个练兵场,一次更大规模技术创新、产品迭代、协同研发的练兵场。在2018年双11的“练兵场上”,阿里云云效——一站式企业协同研发平台支持着阿里巴巴众多部门、百个核心产品、千个垂直项目、几千人共同协作完成双十一大促的…

揭秘天猫双11背后:20万商家600万张海报,背后只有一个鹿班

还记得去年双11,秋裤厂商带着“五彩斑斓的黑”需求找设计师的故事吗? 现在,已经有超过20万客户把这个AI设计师鹿班带回家。 今年,鹿班除了为天猫淘宝平台提供服务之外,还通过阿里云全面为各行业客户输出AI设计能力。…

华为开源数据虚拟化引擎HetuEngine;全球超算500强:中国上榜数量增加;谷歌收购云计算公司CouldSimple ……...

关注并标星星CSDN云计算 速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周两次,打卡即read更快、更全了解泛云圈精彩newsgo go go华为V30 渲染图:取消3.5mm耳机孔&…

三位数除以两位数怎么算竖式_青岛版三年级上册数学5.6三位数除以一位数(最高位商后有余数)微课知识点精讲+练习...

微课视频第一课时微课视频第二课时同步练习1、列竖式计算下面各题3753 2382 5884 62352、一片树林3年共增加了537棵树,平均每年增长多少棵树?3、新华小学一年级共报名448人,如果一年级预开设8个班,那每个班有多少人…

阿里云移动研发平台EMAS,是如何连续5年安全护航双11的?

2014年11月11日,阿里巴巴天猫双十一购物狂欢节全天交易额571亿元;2015年交易额912.17亿元; 2016年1207亿 ;2017年1682亿元;2018年2135亿。五年内交易量不断攀升,屡创新高,这让双十一成为了全球商…

从双十一看阿里云安全的“创世纪”——采访阿里云安全掌门人肖力有感

“神说要有光于是就有了光。”在双十一采访了阿里云安全掌门人肖力之后,忽然对这句话有了全新的认识。从肖力的介绍中我们不难体会到,与云计算相伴而生的阿里云安全诞生的必然性,云的先天基因赐予它“原生的神力”,从最初单纯的攻…

这段 Python 代码让程序员赚 300W,公司已确认!网友:神操作!

Python到底还能给人多少惊喜?笔者最近看到了这两天关于Python最热门的话题,关于《地产大佬潘石屹学Python的原因》,结果被这个回答惊到了:来源:知乎 https://www.zhihu.com/question/355880221笔者翻了翻那些回答&…

奉上一份云上数据安全保护指南

阿里云资深安全专家黄瑞瑞 本方案的目标是为用户提供从底层云平台数据安全到上层的云上环境保护,并标明各层次模块,让用户可以像建房子一样,一层层的搭建可信的在云上数据的安全保护。在各横向层次模块之外,云上数据安全也需要纵…

云数据库POLARDB优势解读系列文章之②——高性价比

现在做任何事情都要看投入产出比,对应到数据库上其实就是性价比。POLARDB作为一款阿里自研数据库,经常被问的问题是:性能怎么样?能不能支撑我的业务?价格贵不贵?很显然,在早期调研阶段&#xff…

38年后的今天,用数据回顾什么是女排精神?

戳蓝字“CSDN云计算”关注我们哦!作者 | 朱小五责编 | 阿秃每当我们足篮打水一场空时,总会想起女排。38年前,1981年11月16日,中国队击败当时号称“东洋魔女“的日本女排,首次夺得世界冠军,这也是中国在三大…

阿里如何将“高峰前扩容、高峰后缩容”的梦想照进现实?

一、2017年我们做了什么? 记得早在2017年的时候,王坚博士就曾召大家就关于“IDC As a Computer”是否能做到,进行过激烈的讨论。而要做到此,必须要实现存储计算分离,分离后由调度对计算和存储资源进行独立自由调度。而…

阿里云异构计算团队亮相英伟达2018 GTC大会

1、首届云原生计算国际会议上,弹性计算研究员伯瑜介绍了基于虚拟化、容器化编排技术的云计算操作系统PouchContainer 首届云原生计算国际会议(KubeCon CloudNativeCon,China,2018)在上海举办,弹性计算研究…

发布国内首个无服务器容器服务,运维效率从未如此高效

近年来,随着越来越多的企业基于微服务架构构建自身核心业务平台后,微服务已获得越来越多技术人员的肯定,同时,微服务也承载着企业数字化转型的重任。但微服务架构的落地给企业的运维团队带来了不少的挑战,原有的运维方…

OPPO 正式发布 ColorOS 7,“轻”装上阵带来多项亮眼新功能……

今日OPPO举办了 ColorOS 7 发布会,正式发布了主打“轻快无边界”的ColorOS 7,以“轻”为核心构建了无边界设计 2.0,在UI、交互、动画、声效等方面进行了优化,围绕“快”阐述了ColorOS 7 在畅快使用、高效体验上所做的创新功能。 此…

ubuntu mysql5.6_ubuntu安装mysql5.6

安装mysql5.6在ubuntu上安装mysql5.6的版本1.添加mysql5.6的源sudo apt-get install software-properties-commonsudo add-apt-repository deb http://archive.ubuntu.com/ubuntu trusty universe2.安装mysql5.6sudo apt-getupdatesudo apt install mysql-server-5.6sudo apt i…

流量隔离方案 Dpath 护航双十一新零售

需求 在今年的双11准备期间,业务同学提出要针对新零售进行特殊的保障,希望新零售过来的流量,单独进入到一批机器,和其他普通流量隔离开来,这对新零售系统稳定性提出更高的要求。 需求总结下来就是: 针对…

潘石屹接连带货 Python,要来抢我们的饭碗?

地产大亨潘石屹近日开始一项全新学习,刷爆程序员的朋友圈,程序员纷纷议论起来:地产大亨也要来抢饭碗啦?11月14日,他说:今天开始我学习一门新的语言Python,我在寻找。这也是今天给自己人生的礼物…