揭秘阿里云EB级大数据计算引擎MaxCompute

日前,全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告。这是Forrester Wave首次发布关于云数仓解决方案(Cloud Data Warehouse,简称CDW)的测评。报告对云数仓的当前产品功能、产品路线和发展策略、市场表现等几个方面进行全面的评估,在产品能力排行榜中,阿里云力压微软排行第7。

Forrester测评报告对CDW核心功能的评估主要从解决方案的多样性、数据集成、性能和弹性扩展、安全性等方面进行,Forrester给出的评价是:阿里云(MaxCompute+DataWorks+ADB)在广泛的基础设施之上提供了一个可靠的数据分析平台,能够满足客户实时和EB规模的数据处理需求。此前媒体已经报道了DataWorks的相关细节,今天我们就来聊聊MaxCompute。

EB级数据处理能力

首先来看一组数据。

2018年双11,MaxCompute单日数据处理超过600PB,平稳支撑电商混布单元在线流量洪峰12万笔/s交易,稳定承载45%导购流量,为双11交易峰值提供了有力保障和平滑支撑。

根据官方介绍,MaxCompute是一种快速、完全托管的数据仓库解决方案,通俗地理解就是大型分布式数据计算,所以大规模计算是最基础的能力。MaxCompute已经是阿里巴巴的主力计算平台,支持了整个阿里巴巴集团内部99%的大数据存储和95%的计算,数据规模已达到EB级,上文提到的双11场景就很好地体现了规模这能力。

当然,它和传统 Hadoop 相比还有其它的优势。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

整体来说有如下特点:

 ●  MaxCompute在计算引擎、分布式存储上做了优化,在Sort Benchmark中MaxCompute消耗的时间和成本都是最低,保证了最优性价比。

 ●  服务器资源、集群规模都是动态的弹性拓展,无需用户关心。

 ●  支持SQL、MR、迭代计算、内存计算、图计算等计算模型。

经历大规模应用实践

据了解,目前MaxCompute正在为全球企业提供大数据计算能力。阿里巴巴通用计算平台负责人关涛曾表示,“在公共云上,MaxCompute每年以250%的用户量和计算量在增长,并在全球十几个国家和地区部署服务,为当地企业提供计算力。”

例如,城市大脑的底层就在使用MaxCompute做存储和大数据计算,支持了杭州、澳门、吉隆坡等城市进行智能化升级。这其中,由MaxCompute、PAI、流计算服务组成的计算平台发挥了巨大的价值。

不仅如此,MaxCompute在各大行业已经有广泛应用:

天气预测有着广泛的需求群体,每天几亿次的天气查询需求和近几十亿次的广告请求, MaxCompute则很好地应对了这一挑战。MaxCompute帮助墨迹天气实现了对每天上亿用户的天气查询需求的快速响应和几十亿次广告请求的精准投放。 互联网保险行业,MaxCompute帮助众安实现精准的用户画像分析,助力企业为数亿用户提供数十亿的保单服务,提升企业效率的同时,为亿万用户送去健康与安全。

总而言之,只要有海量数据处理需求的场景,MaxCompute都能通过阿里云为用户提供快速、稳定的计算能力。

结语

从Forrester的本次研究报告可以看出,大数据技术已经进入CDW阶段,在广泛的基础设施之上提供一个可靠的数据分析平台,满足客户实时和大规模数据计算成为核心需求。

MaxCompute作为大数据计算平台,不只是单一引擎,更是面向企业的完整服务。在过去10年中,MaxCompute稳定支撑阿里集团所有数据业务的同时,早已将强大的数据能力普惠给广泛的云上企业。基于MaxCompute构建稳定、安全、可扩展及与应用系统高效交互的数据中台,已成为众多行业下客户数字转型的首选方案。

 


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520348.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot整合Redis 主从复制_02

文章目录1. maven依赖2. RedisConfig3. RedisUtils4. application.yml5. 单元测试6. redis客户端查看1. maven依赖 <!--redis Start--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis<…

idea 找不到 Free MyBatis plugin

idea 找不到 free mybatis plugin 可以使用mybatisX替换&#xff1a; 插件安装成功后&#xff0c;重启idea。

mysql malloc lib_CVE-2016-6662-MySQL ‘malloc_lib’变量重写命令执行分析 | CN-SEC 中文网...

摘要今天有个关于MySQL的漏洞被披露出来&#xff0c;编号CVE-2016-6662。该漏洞主要涉及到 mysqld_safe 脚本中在加速/处理内存时会采用 “malloc_lib”变量作为辨别标记选择性加载(preload方式)比如tcmalloc之类的malloc库。不幸的的是这个变量可以被my.cnf所控制&#xff0c;…

TPC-C中跑赢Oracle的OceanBase,最近有何惊艳?

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者 | 晶少责编 | 阿秃出品 | CSDN云计算&#xff08;ID&#xff1a;CSDNcloud&#xff09;就在一年一度震撼人心的双11前夕&#xff0c;有消息称前段时间火爆到瞬间刷屏的OceanBase已经完成了Oracle模式的研发&#xff0c;助力银行…

亚马逊计划明年推出云游戏服务,紧追微软谷歌;华为GaussDB数据库推出双分布式架构;腾讯擎天5G智慧灯杆助智慧城市服务升级……...

戳蓝字“CSDN云计算”关注我们哦&#xff01;嗨&#xff0c;大家好&#xff0c;重磅君带来的【云重磅】特别栏目&#xff0c;如期而至&#xff0c;每周五第一时间为大家带来重磅新闻。把握技术风向标&#xff0c;了解行业应用与实践&#xff0c;就交给我重磅君吧&#xff01;重…

万豪数据泄漏门再敲警钟 酒店集团7步安全建议

​​11月30日&#xff0c;万豪酒店官方发布消息称&#xff0c;多达5亿人次预订喜达屋酒店客人的详细个人信息可能遭到泄露。万豪国际在调查过程中了解到&#xff0c;自2014年起即存在第三方对喜达屋网络未经授权的访问&#xff0c;但公司直到2018年9月才第一次收到警报。 万豪…

八年技术加持,性能提升10倍,阿里云HBase 2.0首发商用

阿里云HBase 2.0成长手记&#xff0c;含着金汤匙出身 HBase本身是一个分布式存储、数据库引擎&#xff0c;可以支持千万的QPS、PB级别的存储&#xff0c;这些都已经在生产环境验证&#xff0c;并且在阿里得以验证。 早在2010年开始&#xff0c;阿里巴巴集团开始研究并把HBase…

不得不看之跳槽加薪利器:2019需求最旺盛的十大IT技能

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者 | 新技术 新商业责编&#xff5c;阿秃2018年岁末&#xff0c;中国互联网IT职场掀起一股裁员风暴&#xff0c;为所有的码农和IT专业人士敲响了警钟&#xff0c;要想职场顺风满帆&#xff0c;就应当及早预判热点&#xff0c;规划…

阿里云马劲:保证云产品持续拥有稳定性的实践和思考

对所有的技术人员来说&#xff0c;业务可靠性提升是一个系统工程&#xff0c;涉及网络管理、IDC管理、服务器管理、交付管理、变更管理、故障管理、监控管理、预案管理、根因分析、容量规划、容灾演练、标准化建设、集成测试、泛操作管理、权限管理、数据安全管理等方方面面&am…

实战:基于 Spring 的应用配置如何迁移至阿里云应用配置管理 ACM

最近遇到一些开发者朋友&#xff0c;准备将原有的Java Spring的应用配置迁移到 阿里云应用配置管理 ACM 中。迁移过程中&#xff0c;遇到不少有趣的问题。本文将通过一个简单的样例来还原迁移过程中遇到的问题和相关解决思路&#xff0c;以期达到和读者交流的目的。 什么样的配…

华为豪投20亿!3年培养100万AI人才,网友不服!

近日&#xff0c;华为20亿奖励员工的新闻频频刷屏。其中20亿奖金不是面向所有的华为员工&#xff0c;20亿奖金包涉及到的是研发体系、造AI芯片和建设生态的员工。从5G开始部署以来&#xff0c;华为获得了来自全球各地运营商的订单&#xff0c;签订了40多个5G商用合同。另外华为…

RAM SSO功能重磅发布 —— 满足客户使用企业本地账号登录阿里云

阿里云RAM (Resource Access Management)为客户提供身份与访问控制管理服务。使用RAM&#xff0c;可以轻松创建并管理您的用户&#xff08;比如雇员、企业开发的应用程序&#xff09;&#xff0c;并控制用户对云资源的访问权限。 对云资源的信息安全保护与风险控制能力是企业成…

SQLServer AlwaysOn在阿里云的前世今生

缘起 早在2015年的时候&#xff0c;随着阿里云业务突飞猛进的发展&#xff0c;SQLServer业务也积累了大批忠实客户&#xff0c;其中一些体量较大的客户在类似大促的业务高峰时RDS的单机规格&#xff08;规格是按照 内存CPUIOPS 一定比例分配&#xff0c;根据底层资源不同都会有…

构建企业数字化转型协同力有多难?青云发布workly.ai誓要解决这些棘手的问题!...

戳蓝字“CSDN云计算”关注我们哦&#xff01;相信大部分人都经历过办公中的手忙脚乱与无所适从&#xff0c;每天面对无数的任务与工作本就是一项挑战&#xff0c;而在办公中面对不同终端协同工具&#xff0c;所带来的那些令人头疼的密码、来不及回复的信息与邮件、繁琐的办公流…

阿里云高级技术专家带你全面了解云主机性能评测

钱超&#xff0c;花名西邪&#xff0c;阿里云高级技术专家&#xff0c;超12年老阿里&#xff0c;是云主机性能领域的知名专家。 在目前的云计算测评领域&#xff0c;很多性能测评存在营销的包装&#xff0c;容易引起误导&#xff1a;比如用瞬时性能引导读者得出结论&#xff0…

阿里云HBase携X-Pack再进化,重新赋能轻量级大数据平台

一、八年双十一&#xff0c;造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用&#xff0c;从最初的淘宝历史交易记录&#xff0c;到蚂蚁安全风控数据存储。持续8年的投入&#xff0c;历经8年双十一锻炼。4个PMC&#xff0c;6个committ…

2018阿里云双12年终大促主会场全攻略

2018阿里云双12年终大促活动已经于12月7日正式开启&#xff0c;从已开放的活动页面来看&#xff0c;活动分为两个阶段&#xff1a; 12月7日-12月23日的拉新返现阶段和12月24日-12月28日的TOP100英雄榜PK阶段。 活动核心亮点&#xff1a; 老会员拉新可享25%返现最高2.5万奖金&a…

RabbitMQ集群原理介绍

文章目录一、RabbitMQ默认集群原理1. RabbitMQ集群元数据的同步2. 为何RabbitMQ集群仅采用元数据同步的方式3. RabbitMQ集群发送/订阅消息的基本原理4. 客户端直接连接队列所在节点5. 客户端连接的是非队列数据所在节点7. 集群节点类型磁盘节点内存节点8. 总结二、RabbitMQ镜像…

阿里云物联网平台体验(树莓派+Python篇)

阿里云物联网平台体验(树莓派Python篇) 虽然对阿里云物联网平台比较熟悉了&#xff0c;从一开始就有幸参与了飞凤平台&#xff08;Link Develop 一站式开发平台的前身&#xff09;的一些偏硬件接入的工作。但是同时也见证了阿里云物联网团队从几十人到数百人的迅速扩张&#x…

阿里云物联网边缘计算加载MQTT驱动

写在前面 本文在LinkEdge快速入门样例驱动的基础上&#xff0c;加载了MQTT订阅的客户端&#xff0c;使得边缘端容器可以通过MQTT获得外部数据。 1. 系统需求 物联网边缘计算平台&#xff0c;又名Link IoT Edge[1]。在物联网边缘计算帮助文档中的 “快速入门”描述了…