双11奇迹背后的大数据平台,不喧哗,自有声!

00:02:05 成交额超100亿
00:57:56 成交额超666亿
01:47:26 成交额超1000亿
15:49:39 成交额超1682亿
22:28:37 成交额超2000亿

2018年双11新纪录2135亿

高速跳转的数字,不断刷新的状态,光缆中狂奔的代码,键盘上飞舞的手指…

新的记录
绝非十年前的记录
也非2017年的记录

是产品专家紧抓不放的记录
是技术专家誓要征服的记录

是方案冷静的记录
是技术求精的记录
是框架稳定的记录
是系统健壮的记录
 


数据平台,计算创造价值

2004年,为了从大数据中分析当前状况,并预测未来的趋势,阿里拥有了第一个大数据仓库,到2008年,淘宝的业务量与数据量已达到2004年的数千倍,为了让数据成为生产资料,从底层重构大数据技术就显得尤为重要。

2010年春,大数据引擎MaxCompute的前身SQL Engine第一版上线,运行在当时30台机器的飞天集群上。

2011年,飞天团队开始探索支撑集团内部数仓业务,在1500台机器上并行运行云梯2的生产作业,并取得了不输于Hadoop的性能和稳定性成绩。

飞天5K项目之后,MaxCompute随之进入5000台机器和跨机房调度时代,并且可以在377秒完成100TB的排序。

现在,MaxCompute已经成为阿里巴巴的主力计算平台,阿里巴巴集团99%的数据存储以及95%的计算能力使用MaxCompute;每天有超过500万个作业在平台上运行。
 

2018完美支撑全球“最猛”交易洪峰

通过MaxCompute引擎助力,从2014年双11开始,千人千面成为常态。MaxCompute作为11项目背后大规模计算的秘密武器,承受住了双11期间大规模集群、海量数据、高并发量的极大考验。

MaxCompute单日数据处理量从2015年100PB,2016年180PB,到2017年320PB,再到2018年的单日处理超过500PB,不断挑战新极限,不断刷新新纪录。同时MaxCompute平稳支撑电商混布单元在线流量洪峰12万笔/s交易,稳定承载45%导购流量,顺利完成1200台DB业务混部的目标,为双11交易峰值提供了有力保障和平滑支撑。

双11期间,除了天猫、淘宝、阿里集团之外,MaxCompute还为金融、支付、新零售等各行业提供强有力的计算服务。
 

阿里大数据计算能力,走出集团服务全球

几年过去,通过大数据与人工智能算法的结合,MaxCompute已成为ET大脑最重要的组成部分,ET城市大脑自动指挥城市路口信号灯,并且成功应用于马来西亚的交通治理;ET工业大脑推动工厂取得更好的良品率,致力于帮助制造企业提升1%的良品率。

从数字化阿里到数字化城市,MaxCompute可以承载EB级的数据存储能力,成为全球首个100TB规模Bigbench测试通过的大数据计算平台;在公共云上覆盖国内外的十几个国家和地区,专有云上部署超过100+套。

MaxCompute不只是单一引擎,更是面向企业的完整服务。过去的10年中,MaxCompute稳定支撑阿里集团所有数据业务的同时,早已将强大的数据能力普惠给广泛的云上企业。基于MaxCompute构建稳定、安全、可扩展及与应用系统高效交互的数据中台,已成为众多行业下客户数字转型的首选方案。

从线上到线下,从生产制造到互联网电商,从国内到海外,MaxCompute的计算能力正在延伸到各行各业,极大地降低了社会的计算成本。

每一次挑战,都让MaxCompute站在新的起点,不喧哗,自有声,壮志在胸。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520450.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里云推PostgreSQL 10 高可用版

2015年,阿里云宣布正式推出RDS for PostgreSQL服务,届时,阿里云成为国内首家同时支持MySQL、SQL Server 和PostgreSQL关系型数据库的云计算服务商。 用户在云上就能享受PostgreSQL引擎带来的对SQL标准和NoSQL的高度兼容、强大的处理复杂查询能力、以及丰…

百度万亿流量的转发引擎BFE开源了!华为折叠屏曝光,采用传统翻盖式手机折叠方案;微软将关闭安卓iOS平台Cortana……...

关注并标星星CSDN云计算 速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周两次,打卡即read更快、更全了解泛云圈精彩newsgo go goOPPO Realme 5s(图片来源网络&#xf…

《TableStore最佳实践:GEO索引打造店铺搜索系统》

一、方案背景 对于一套GEO管理系统,其核心点与瓶颈在于数据库的存储性能与查询能力;一方面,存储服务需要应对海量数据的低延迟存、读,另一方面,存储服务也要提供高效的GEO多维度数据检索。表格存储(TableS…

单一窗口关区备案_深圳跨境电商企业进出口备案,赶紧码下学习

小编君抽空为大家梳理了深圳跨境企业各项出口资质及需要的材料,如下:1工商局营业执照经营范围的变更,税务局办理经营范围变更公司经营范围上如果没有“进出口”或“货物及技术进出口”字样,就得先变更经营范围。如果公司在注册时已…

《TableStore最佳实践:轻松实现轨迹管理与地理围栏》

一、方案背景 轨迹管理系统日常生活中使用非常普遍,如外卖派送轨迹、快递物流流转、车辆定位轨迹等。该场景与地理位置管理类似,核心点与瓶颈都在数据库的存储性能与查询能力,同时需要时间字段正序排列,保证轨迹点顺序&#xff1…

蚂蚁金服、微众银行、度小满都来了,智能金融将何去何从?(文末福利)

(大会官网 https://t.csdnimg.cn/U1wA)金融业是一个数据堆砌起来的行业,有客户信息、风险控制数据、交易数据等等,如果这些数据没有被有效的管理和分析,会增加企业的经营风险和降低企业的盈利能力。但有了云计算与人工…

RuoYi-Vue 部署 Linux环境 若依前后端分离项目(jar包+nginx 单机版本)

文章目录一、软件安装部署1. 安装jdk2. mysql8安装部署3. redis安装4. nginx 安装部署5. 克隆项目二、后端项目2.1. 修改数据库连接2.2. 修改Redis连接信息2.3. 文件路径2.4. 日志存储路径调整2.5. 编译打包三、前端项目3.1. 安装依赖3.2. 构建生产环境四、项目部署4.1.创建目录…

五子棋项目结束总结_居家活动系列总结

刚开始一直待家里真的好无聊......不过后来电气学院举办了一系列线上活动,在家里也能参与!我们一起来看看吧!厨艺比赛2020年3月2日-3月6日,为了鼓励大家好好利用假期时间,享受生活。电气工程学院学生会举办“厨艺分享”…

4K超清,2500万人在线,猫晚直播技术全解读

2018天猫双11已经过去一周,各路快递也在快马加鞭送到大家手中。但对于剁手党而言,天猫双11也不仅仅是简单意义上的“买买买”,更是一场边看边玩的狂欢盛宴。 作为双11的必备节目,今年的猫晚通过优酷、浙江卫视、东方卫视进行了全…

shell取当前月份第一天_红帽认证8.0版本即将发布!Ansible和shell脚本自动化将重点考察...

红帽厂商官方通知,红帽RHCE考试(包含EX200和EX300两门)版本7的截止时间是:2020年4月30日。 即2020年5月份之后将停止版本7的考试,包括正考和补考。RHCE版本7中包含EX200(v7)和EX300(…

阿里云重磅发布RDS for SQL Server AlwaysOn集群版

2018年双十一刚过,阿里云数据库发布RDS for SQL Server AlwaysOn集群版,这是业界除微软云SQL Database外,首家云计算公司基于SQL Server最新AlwaysOn核心技术实现的数据库集群版,并且是经过双十一检验的商业化版本。 全形态的产品…

Linux Shell脚本_设置时区并同步时间

① 脚本编写 vim autoSyncTime.sh脚本内容: ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime if ! crontab -l |grep ntpdate &>/dev/null ; then(echo "* 1 * * * ntpdate ntp1.aliyun.com >/dev/null 2>&1";hwclock -w;cro…

“12306”的架构到底有多6?

戳蓝字“CSDN云计算”关注我们哦!作者 | 绘你一世倾城责编 | 阿秃每到节假日期间,一二线城市返乡、外出游玩的人们几乎都面临着一个问题:抢火车票!12306 抢票,极限并发带来的思考虽然现在大多数情况下都能订到票&…

【阿里云总监课第四期】时髦的云原生应用怎么写?

概述 应用已经跨入了云原生的时代。要写一个时髦的云原生应用,首先当然要了解什么是云原生。CNCF,也就是云原生计算基金会,作为目前人气最旺的云计算行业协会,在今年6月份给出了云原生的定义,阿里云牵头做了一个官方的…

信号扫描_图文并茂,一文读懂信号源

信号源是四大通用电子测量仪器之一,其他三种是:网络分析仪,频谱分析仪和示波器。这篇介绍信号源所涉及的相关基础知识。信号源的最常用的功能是用来产生一个正弦波,所以先从介绍正弦波的特征开始本篇文章。一、正弦波的信号特性通…

支撑双十一的网络引擎:飞天洛神

对刚刚过去的2018天猫双十一,各位网友应该记忆犹新。尤其是午夜零点时,亿万网友几乎不约而同地打开满满的购物车,抢下商家优惠券和红包,完成下单,付款这一系列流程。根据我个人的经历,这次体验堪称顺畅&…

IPv6时代已来:双十一中的IPv6大规模应用实践

摘要: 刚刚过去的双十一,大家对猫晚、抢红包、组团购还记忆犹新。大家不了解的是,不知不觉间,你可能已经成为首批互联网IPv6用户了。今年天猫双十一期间,阿里巴巴全面支持了IPv6,这是IPv6在我国的互联网领域…

说真的,程序员相亲,真的太太太太太太难了 | IT巨能唠

众所周知,程序员这个群体,是单身狗的重灾区!程序员的成就感,来自于公众对他代码的认可!因此,广大程序员将大量精力时间用于技术,他们关注新技术的诞生,关注自身内功的修炼&#xff0…

阿里云实时计算的前世“功”今生“能”

前言: 不修内功,难成大器。为了将Apache Flink在阿里巴巴真正运行起来,阿里巴巴实时计算团队做了大量的优化,在阿里云上的产品正式命名为实时计算,以Flink SQL为主要API,致力于打造一款全球领先的实时计算引…

多方法调用 一个出错 集体回滚_一个@Transaction哪里来这么多坑?

前言在之前的文章中已经对Spring中的事务做了详细的分析了,这篇文章我们来聊一聊平常工作时使用事务可能出现的一些问题(本文主要针对使用Transactional进行事务管理的方式进行讨论)以及对应的解决方案事务失效事务回滚相关问题读写分离跟事务结合使用时的问题事务失…