揭秘阿里云EB级大数据计算引擎MaxCompute

日前,全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告。这是Forrester Wave首次发布关于云数仓解决方案(Cloud Data Warehouse,简称CDW)的测评。报告对云数仓的当前产品功能、产品路线和发展策略、市场表现等几个方面进行全面的评估,在产品能力排行榜中,阿里云力压微软排行第7。

Forrester测评报告对CDW核心功能的评估主要从解决方案的多样性、数据集成、性能和弹性扩展、安全性等方面进行,Forrester给出的评价是:阿里云(MaxCompute+DataWorks+ADB)在广泛的基础设施之上提供了一个可靠的数据分析平台,能够满足客户实时和EB规模的数据处理需求。此前媒体已经报道了DataWorks的相关细节,今天我们就来聊聊MaxCompute。

EB级数据处理能力

首先来看一组数据。

2018年双11,MaxCompute单日数据处理超过600PB,平稳支撑电商混布单元在线流量洪峰12万笔/s交易,稳定承载45%导购流量,为双11交易峰值提供了有力保障和平滑支撑。

根据官方介绍,MaxCompute是一种快速、完全托管的数据仓库解决方案,通俗地理解就是大型分布式数据计算,所以大规模计算是最基础的能力。MaxCompute已经是阿里巴巴的主力计算平台,支持了整个阿里巴巴集团内部99%的大数据存储和95%的计算,数据规模已达到EB级,上文提到的双11场景就很好地体现了规模这能力。

当然,它和传统 Hadoop 相比还有其它的优势。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

整体来说有如下特点:

 ●  MaxCompute在计算引擎、分布式存储上做了优化,在Sort Benchmark中MaxCompute消耗的时间和成本都是最低,保证了最优性价比。

 ●  服务器资源、集群规模都是动态的弹性拓展,无需用户关心。

 ●  支持SQL、MR、迭代计算、内存计算、图计算等计算模型。

经历大规模应用实践

据了解,目前MaxCompute正在为全球企业提供大数据计算能力。阿里巴巴通用计算平台负责人关涛曾表示,“在公共云上,MaxCompute每年以250%的用户量和计算量在增长,并在全球十几个国家和地区部署服务,为当地企业提供计算力。”

例如,城市大脑的底层就在使用MaxCompute做存储和大数据计算,支持了杭州、澳门、吉隆坡等城市进行智能化升级。这其中,由MaxCompute、PAI、流计算服务组成的计算平台发挥了巨大的价值。

不仅如此,MaxCompute在各大行业已经有广泛应用:

天气预测有着广泛的需求群体,每天几亿次的天气查询需求和近几十亿次的广告请求, MaxCompute则很好地应对了这一挑战。MaxCompute帮助墨迹天气实现了对每天上亿用户的天气查询需求的快速响应和几十亿次广告请求的精准投放。 互联网保险行业,MaxCompute帮助众安实现精准的用户画像分析,助力企业为数亿用户提供数十亿的保单服务,提升企业效率的同时,为亿万用户送去健康与安全。

总而言之,只要有海量数据处理需求的场景,MaxCompute都能通过阿里云为用户提供快速、稳定的计算能力。

结语

从Forrester的本次研究报告可以看出,大数据技术已经进入CDW阶段,在广泛的基础设施之上提供一个可靠的数据分析平台,满足客户实时和大规模数据计算成为核心需求。

MaxCompute作为大数据计算平台,不只是单一引擎,更是面向企业的完整服务。在过去10年中,MaxCompute稳定支撑阿里集团所有数据业务的同时,早已将强大的数据能力普惠给广泛的云上企业。基于MaxCompute构建稳定、安全、可扩展及与应用系统高效交互的数据中台,已成为众多行业下客户数字转型的首选方案。

 


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520348.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot整合Redis 主从复制_02

文章目录1. maven依赖2. RedisConfig3. RedisUtils4. application.yml5. 单元测试6. redis客户端查看1. maven依赖 <!--redis Start--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis<…

idea 找不到 Free MyBatis plugin

idea 找不到 free mybatis plugin 可以使用mybatisX替换&#xff1a; 插件安装成功后&#xff0c;重启idea。

mysql malloc lib_CVE-2016-6662-MySQL ‘malloc_lib’变量重写命令执行分析 | CN-SEC 中文网...

摘要今天有个关于MySQL的漏洞被披露出来&#xff0c;编号CVE-2016-6662。该漏洞主要涉及到 mysqld_safe 脚本中在加速/处理内存时会采用 “malloc_lib”变量作为辨别标记选择性加载(preload方式)比如tcmalloc之类的malloc库。不幸的的是这个变量可以被my.cnf所控制&#xff0c;…

UnixBench算分介绍

关于如何用UnixBench&#xff0c;介绍文章很多&#xff0c;这里就不展开了。这里重点描述下它是如何算分的。 运行参数 碰到很多客户&#xff0c;装好后&#xff0c;直接./Run&#xff0c;就把结果跑出来了&#xff0c;然后还只取最后一个分值&#xff0c;比谁高谁低。 下面列…

TPC-C中跑赢Oracle的OceanBase,最近有何惊艳?

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者 | 晶少责编 | 阿秃出品 | CSDN云计算&#xff08;ID&#xff1a;CSDNcloud&#xff09;就在一年一度震撼人心的双11前夕&#xff0c;有消息称前段时间火爆到瞬间刷屏的OceanBase已经完成了Oracle模式的研发&#xff0c;助力银行…

CVE漏洞—PHPCMS2008 /type.php代码注入高危漏洞预警

11月4日&#xff0c;阿里云安全首次捕获PHPCMS 2008版本的/type.php远程GetShell 0day利用攻击&#xff0c;攻击者可以利用该漏洞远程植入webshell&#xff0c;导致文件篡改、数据泄漏、服务器被远程控制等一系列严重问题。建议受影响用户尽快升级到最新版本修复。 —————…

mysql分页概念_MySQL学习笔记之数据定义表约束,分页方法总结

本文实例讲述了MySQL学习笔记之数据定义表约束&#xff0c;分页方法。分享给大家供大家参考&#xff0c;具体如下&#xff1a;1. primary key 主键特点&#xff1a;主键是用于唯一标识一条记录的约束&#xff0c;一张表最多只能有一个主键&#xff0c;不能为空也不能重复create…

Centos7 开机启动汇总

CentOS 7上配置MySQL5.7开机自启动方法 centos7: vsftpd安装及启动: ftp配置 centos7 rabbitmq开机启动 systemctl enable rabbitmq-server.service

亚马逊计划明年推出云游戏服务,紧追微软谷歌;华为GaussDB数据库推出双分布式架构;腾讯擎天5G智慧灯杆助智慧城市服务升级……...

戳蓝字“CSDN云计算”关注我们哦&#xff01;嗨&#xff0c;大家好&#xff0c;重磅君带来的【云重磅】特别栏目&#xff0c;如期而至&#xff0c;每周五第一时间为大家带来重磅新闻。把握技术风向标&#xff0c;了解行业应用与实践&#xff0c;就交给我重磅君吧&#xff01;重…

万豪数据泄漏门再敲警钟 酒店集团7步安全建议

​​11月30日&#xff0c;万豪酒店官方发布消息称&#xff0c;多达5亿人次预订喜达屋酒店客人的详细个人信息可能遭到泄露。万豪国际在调查过程中了解到&#xff0c;自2014年起即存在第三方对喜达屋网络未经授权的访问&#xff0c;但公司直到2018年9月才第一次收到警报。 万豪…

MySQL工具名字_MySQL客户端工具及SQL讲解

1、用于数据库的连接管理#MySQL接口自带的命令\h 或 help 或&#xff1f; 查看帮助\G 格式化查看数据(key&#xff1a;value)\T 或 tee 记录日志\c(5.7可以ctrlc) 结束命令\s 或 status 查看状态信息\. 或 source 导入SQL数据 \u或 use 使用数据库\q 或 exit 或 quit 退出help命…

SpringBoot2.x整合quartz定时任务 快速入门

文章目录1. maven依赖2. QuartConfig配置文件3. 创建一个业务处理类UserService4. Job类 调用方法5. 手动将对象注入导视牌SringIOC容器类6. 启动类加注解1. maven依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-bo…

八年技术加持,性能提升10倍,阿里云HBase 2.0首发商用

阿里云HBase 2.0成长手记&#xff0c;含着金汤匙出身 HBase本身是一个分布式存储、数据库引擎&#xff0c;可以支持千万的QPS、PB级别的存储&#xff0c;这些都已经在生产环境验证&#xff0c;并且在阿里得以验证。 早在2010年开始&#xff0c;阿里巴巴集团开始研究并把HBase…

不得不看之跳槽加薪利器:2019需求最旺盛的十大IT技能

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者 | 新技术 新商业责编&#xff5c;阿秃2018年岁末&#xff0c;中国互联网IT职场掀起一股裁员风暴&#xff0c;为所有的码农和IT专业人士敲响了警钟&#xff0c;要想职场顺风满帆&#xff0c;就应当及早预判热点&#xff0c;规划…

阿里云马劲:保证云产品持续拥有稳定性的实践和思考

对所有的技术人员来说&#xff0c;业务可靠性提升是一个系统工程&#xff0c;涉及网络管理、IDC管理、服务器管理、交付管理、变更管理、故障管理、监控管理、预案管理、根因分析、容量规划、容灾演练、标准化建设、集成测试、泛操作管理、权限管理、数据安全管理等方方面面&am…

(需求实战_终章) SpringBoot2.x 整合RabbitMQ

文章目录1. maven依赖2. MainConfig3. application.properties4. 发送字符串 生产者5. 发送对象 生产者6. 接收字符串客户端7. 接收对象客户端8.confirem 确认机制9. return确认机制10. MQ消息发送工具类封装11. 分布式id12. 时间工具类13. 对象1. maven依赖 <dependency>…

lnmp 修改mysql密码_Lnmp下修改mysql根密码

今天帮兄弟安装了一个新的lnmp环境&#xff0c;安装后才发现mysql的根密码不是兄弟想要的密码&#xff0c;如是在建站前把根密码快快改了。 首先登陆phpmyadmin&#xff0c;选择mysql数据库,之后选sql选项卡&#xff0c;输入如下代码到命令框&#xff0c;之后点右下角的执行按钮…

实战:基于 Spring 的应用配置如何迁移至阿里云应用配置管理 ACM

最近遇到一些开发者朋友&#xff0c;准备将原有的Java Spring的应用配置迁移到 阿里云应用配置管理 ACM 中。迁移过程中&#xff0c;遇到不少有趣的问题。本文将通过一个简单的样例来还原迁移过程中遇到的问题和相关解决思路&#xff0c;以期达到和读者交流的目的。 什么样的配…

华为豪投20亿!3年培养100万AI人才,网友不服!

近日&#xff0c;华为20亿奖励员工的新闻频频刷屏。其中20亿奖金不是面向所有的华为员工&#xff0c;20亿奖金包涉及到的是研发体系、造AI芯片和建设生态的员工。从5G开始部署以来&#xff0c;华为获得了来自全球各地运营商的订单&#xff0c;签订了40多个5G商用合同。另外华为…

mysql 5.7 hint_新特性解读 | MySQL 8.0 新增 HINT 模式

在开始演示之前&#xff0c;我们先介绍下两个概念。概念一&#xff0c;数据的可选择性基数&#xff0c;也就是常说的cardinality值。查询优化器在生成各种执行计划之前&#xff0c;得先从统计信息中取得相关数据&#xff0c;这样才能估算每步操作所涉及到的记录数&#xff0c;而…