下一代大数据处理引擎,阿里云实时计算独享模式重磅发布

11月14日,阿里云重磅发布了实时计算独享模式,即用户独享一部分物理资源,这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立,是实时计算在原有共享模式基础上的重大升级。

独享模式优点更加突出
1、UDX开放:实时计算的共享模式是多个用户共享一个物理机群,在网络/磁盘层面没有办法做到完全隔离。因此,基于安全考虑,共享模式下无法对您开放UDX/DataStream更灵活、更底层的API。在某些场景下,无法满足您的业务需求。独享模式在网络及物理机层面,有完全的隔离,因此可以开通UDF等更底层的API,满足您的业务需求。

2、丰富的硬件:业务越来越丰富,对底层机器的配置会有更多样化需求,比如CPU:MEM配比,以及GPU、FPGA等硬件的需求。实时计算独享集群可充分复用阿里云在硬件层面做的各种优化,为您解决各种硬件适配问题。

3、用户间的隔离:对于ECS独享集群,您能够独享一批计算资源,且从网络上进入您的VPC。既满足了您专网专用、资源独享的需求,也可以跟您的IDC打通,更贴近您的业务需求。

4、更丰富的功能:Data Lake场景下的ETL:通过SQL+UDF的方式,使ETL任务开发更加便利。异构数据源计算:支持从异构数据源读取数据做分析。例如,远程从OSS读取数据归档日志,并join hbase中高危ip,做网络攻击分析等等。支持30+数据源的源表和结果表。

2018年双11,实时计算完成三项世界级挑战
双11是购物狂欢,也是对阿里技术的“大考”。天猫“双11”的成交额冲破100亿元只花了2分05秒,而突破千亿大关,仅仅花了1小时47分钟,比2017年快了7个多小时。这种疯狂带来了阿里史上最大的双11流量洪峰,实时计算处理能力已经相当于一秒钟内读完120万本2018年新版的《新华字典》。

2013年双11购物狂欢节第一分钟成交破亿,一千多万人同时涌入天猫。这些数据在杭州淘宝城内的数据大屏准实时播报。大屏上跳动的每个数字,来自于阿里集团内部几十个系统间的紧密合作,当在以最快速度秒杀到双11热卖商品的同时,这些系统已经完成了无数轮的数据采集、传输、加工、计算以及反馈到页面的工作。这也是阿里云实时计算技术的首次亮相。

在2018年的双11中,实时数据处理技术,包括日志数据和交易数据的实时采集、分发、计算,最终在媒体直播大屏上实时渲染和展示,整个链路的稳定性保障压力是巨大的。可以说,实时计算完成了三项世界级的挑战:
1、低延时,从零点第一笔交易发生,到媒体大屏上显示出统计结果,整个处理过程延时控制在3秒以内;
2、实时计算处理峰值达到17.2亿条/秒,实时计算的整体性能比去年提升了N倍;
3、高可用,全天服务不降级、无故障,扛下了高峰期所有的流量。

一站式、高性能实时大数据处理平台
阿里云实时计算是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛应用于流式数据处理、离线数据处理、DataLake计算等场景,助力企业向实时化、智能化大数据计算升级转型。

基于Apache Flink在阿里巴巴搭建的平台于2016年正式上线,并从阿里巴巴的搜索和推荐这两大场景开始实现。为了将Apache Flink在阿里巴巴真正运行起来,阿里巴巴实时计算团队做了大量的优化,在阿里云上的产品命名为时时计算,以Flink SQL为主要API,致力于打造一款全球领先的实时计算引擎。

据了解,阿里云实时计算脱胎于阿里集团内部双11实时大屏业务,历经长期摸索和发展,将阿里集团本身沉淀多年的实时计算产品、架构、业务能够以云产品的方式对外提供服务,用户可以完全享受到阿里集团最新最前沿的计算引擎能力,业务上可规避阿里集团多年在流式大数据的试错和教训,更快、更轻松地实时化大数据处理流程,助力业务发展。

经过多年沉淀,目前,阿里云实时计算产品已具有国际领先的产品优势,在吞吐/时延、SQL支持、开发体验、窗口支持、乱序支持、上下游对接等多方面都优于其他云厂商的相关产品。相对spark、storm等,阿里云实时计算人力成本低,开发运维更加便利,还可以无缝对接阿里云数据存储。用户可以充分利用阿里云实时计算提供的产品优势,方便快捷的解决自身业务实时化大数据分析的问题。

切实解决用户痛点
阿里云实时计算可以提供FlinkSQL协助用户简单轻松完成流式计算逻辑的处理。同时,受限于SQL代码功能有限无法满足某些特定场景的业务需求,阿里云实时计算同时为部分授信用户提供全功能的UDF函数,帮助用户完成业务定制化的数据处理逻辑。在流数据分析领域用户直接使用FlinkSQL+UDF即可完成大部分流式数据分析处理逻辑,目前的实时计算更擅长于做流式数据分析、统计、处理。主要解决了用户的三大痛点:

1、流式数据的及时性
数据的业务价值随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理。而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式,即以小时甚至以天为计算周期对当前数据进行累计并处理,显然这类处理方式无法满足数据实时计算的需求。在诸如实时大数据分析、风控预警、实时预测、金融交易等诸多业务场景领域,批量(或者说离线)处理对于上述对于数据处理时延要求苛刻的应用领域而言是完全无法胜任其业务需求的。而实时计算作为一类针对流数据的实时计算模型,可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本,最终有效满足实时处理大数据的业务需求。

2、一站式的流式数据处理
不同于开源或者自建的流式处理服务,阿里云实时计算是完全托管的流式计算引擎,阿里云可针对流数据运行查询,无需预置或管理任何基础设施,用户可以享受一键启用的流式数据服务能力。阿里云实时计算天然集成数据开发、数据运维、监控预警等服务,方便用户最小成本试用和迁移流式计算产品。

3、SQL化的流式分析
支持标准SQL(产品名称为:FlinkSQL),提供内建的字符串处理、时间、统计等各类计算函数,替换业界低效且复杂的Flink开发,让更多的BI人员、运营人员通过简单的FlinkSQL可以完成实时化大数据分析和处理,让实时大数据处理普适化、平民化。

同时,实现实时的数据监控/分析。比如BI人员可以看到自己网站实时的访客数据变化,购买情况,交易额波动等,不需要一段时间后才能做统计和分析。之前150人/月的工作,现在只需3个人/月就可以轻松解决,效率提升了50倍。

使用场景广泛
实时计算擅长解决的几个领域的应用场景包括,实时的网络点击PV、UV统计;统计交通卡口的平均5分钟通过车流量;水利大坝的压力数据统计和展现;网络支付涉及金融盗窃固定行为规则的告警等。特别适合BI人员、大数据开发人员等用户。

实时计算擅长解决的几个领域的应用场景包括,实时的网络点击PV、UV统计;统计交通卡口的平均5分钟通过车流量;水利大坝的压力数据统计和展现;网络支付涉及金融盗窃固定行为规则的告警等。特别适合BI人员、大数据开发人员等用户。

大体分为四种典型场景:
**互联网点击流分析:实时分析网站用户行为,精准实时把握用户画像;
金融实时风控:实时监控金融恶意行为,实时风控避免用户损失;
物联网IOT风控:实时监控侦测设备故障,即使避免潜在业务风险;
电商精准推荐:实时跟踪用户行为变化,精准推荐提升产品销量。**

用户案例丰富
经过两年的发展,实时计算在集团内,淘宝、天猫、蚂蚁金服、菜鸟、工业大脑等诸多业务均大量应用了实时计算技术。今年以来,众安保险、全民TV、千寻、新华智云等集团外部客户也上线了诸多实时计算的典型场景和应用。

独享模式应运而生

实时计算今年4月份商业化以来,一直以“共享模式”的形式对外输出,在批处理领域,SQL 已经经历了几十年的考验,是公认的经典。但另一方面也对用户造成两大困扰:

1.仅使用 SQL难以描述自己的业务逻辑;
2.将某些已有的存在于代码中的业务逻辑翻译成SQL,烦不胜烦。

因此,实时计算独享模式应运而生。独享模式,是实时计算在原有共享模式基础上的补充。用户独享一部分物理资源,这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立。具备UDX开放、丰富的硬件、用户间的隔离等特性。

使用流程简洁方便
实时计算的基本计量单位为CU(Compute Unit,即计算资源),一个CU对应于实时计算底层系统是一个CPU的计算能力。实时计算底层使用虚拟化技术进行资源隔离,保证一个基本的CU消费且最大消费仅能为一个CPU的计算能力。

产品的具体使用也十分方便,具体来说有以下几步:

 

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520484.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

刷爆了!李彦宏:这类程序员我给100万!你怎么看?

从2017年开始,人工智能便波澜不断,无论是从BAT高调布局AI,还是从年薪50万招聘AI应届生,炽手可热形容AI工程师一点都不过分。百度推出“少帅计划”,针对30岁以下的深度学习科学家,开出100万以上年薪!阿里巴巴…

Element-UI中Cascader 级联选择器使用

Element-UI的级联组件官方文档 <el-cascaderv-model"value":options"options":props"{ expandTrigger: hover }"change"handleChange"></el-cascader>说明&#xff1a; options:绑定数据源 props:数据配置项 v-model“val…

DRDS SQL 审计与分析——全面洞察 SQL 之利器

背景 数据库存储着系统的核心数据&#xff0c;其安全方面的问题在传统环境中已经成为泄漏和被篡改的重要根源。而在云端&#xff0c;数据库所面临的威胁被进一步的放大。因此&#xff0c;对云数据库的操作行为尤其是全量 SQL 执行记录的审计日志&#xff0c;就显得尤为重要&am…

机器学习:从入门到晋级

目前&#xff0c;人工智能&#xff08;AI&#xff09;非常热门&#xff0c;许多人都想一窥究竟。如果你对人工智能有所了解&#xff0c;但对机器学习&#xff08;Machine Learning&#xff09;的理解有很多的困惑&#xff0c;那么看完本文后你将会对此有进一步深入理解。在这里…

漫画 | 面试的我 VS 真实的我

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者&#xff5c;纯洁的微笑、孤独烟责编&#xff5c;阿秃“面试造火箭&#xff0c;入职拧螺丝&#xff01;”已经是各大互联网公司招聘的常态&#xff0c;为了应对如今越演越烈的面试形势&#xff0c;程序员一个个都变成了表演大师…

Visual Studio Code Vue代码片段 总览

文章目录一、模板篇1. 初始化.vue 文件模板2. template 作用域插槽模板二、响应提示篇1. error 响应 &#xff01;200提示2. success 响应 200提示三、axios请求篇1. axios get 请求2. axios post 请求3. axios put 请求4. axios delete请求四、事件篇…

一个案例彻底弄懂如何正确使用 mysql inndb 联合索引

有一个业务是查询最新审核的5条数据 SELECT id, title FROM th_content WHERE audit_time < 1541984478AND status ONLINE ORDER BY audit_time DESC, id DESC LIMIT 5; 查看当时的监控情况 cpu 使用率是超过了100%&#xff0c;show processlist看到很多类似的查询都是处…

为你的AliOS Things应用增加自定义cli命令

在日常嵌入式开发中&#xff0c;我们经常会用串口命令来使设备进入某种特定的状态&#xff0c;或执行某个特定的操作。如系统自检&#xff0c;模拟运行&#xff0c;或者进入手动模式进行设备点动。linux下有强大的shell工具&#xff0c;可以让用户和片上系统进行交互&#xff0…

4________请拖拽到此区域5________请拖拽到此区域_5分钟学会:蒙版与通道(剪贴蒙版)...

剪贴蒙版可以用一个图层中包含像素的区域来限制它上层图像的显示范围。它的最大优点是可以通过一个图层来控制多个图层的可见内容&#xff0c;而图层蒙版和矢量蒙版都只能控制一个图层。1、实例&#xff1a;创建剪贴蒙版颜回&#xff1a;5分钟学会&#xff1a;蒙版与通道 实例&…

一场高质量的技术盛会怎样炼成?「2019中国大数据技术大会」即将来临,邀您共赴!...

2019年12月&#xff0c;一场轰动国内产业界、学术界、科研界及投资领域的顶级科技盛会即将拉开帷幕&#xff0c;它涵盖大数据、人工智能、云计算、AIoT、金融科技、智能制造等十几个前沿领域的热门话题。在过去十二年里&#xff0c;这场盛会从最初仅 60 余人参加的技术沙龙到如…

在Developerkit开发板上运行blink例程

本文将介绍怎么样在VScode环境下&#xff0c;将AliOS Tings提供的blink例程在Developerkit开发板上运行起来。 DeveloperKit开发板 在例程中分别用到两个led和一个按钮&#xff0c;上图中用红色的框标识出来。例程正确运行后&#xff0c;会有一个LED按1s的周期闪烁&#xff0c…

阿里下一代云分析型数据库AnalyticDB入选Forrester云化数仓象限

前言 近期, 全球权威IT咨询机构Forrester发布"The Forrester Wave: CloudData Warehouse Q4 2018"研究报告&#xff0c;阿里巴巴分析型数据库(AnalyticDB)成功入选。 AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库&#xff0c;全面兼容MySQL协议以及SQL:200…

俄罗斯互联网的BAT

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者&#xff5c;挖数责编&#xff5c;阿秃1961年&#xff0c;尤里米尔纳 出生在莫斯科一个犹太人家庭&#xff0c;他的父亲是一名经济学家&#xff0c;母亲是一名医生&#xff0c;他儿时的梦想是成为科学家。高中毕业后&#xff0c…

fiq中断的入口地址_嵌入式技巧:ARM的三种中断调试方法介绍

嵌入式软件开发流程参照嵌入式软件的开发流程。第一步&#xff1a;工程建立和配置。第二步&#xff1a;编辑源文件。第三步&#xff1a;工程编译和链接。第四步&#xff1a;软件的调试。第五步&#xff1a;执行文件的固化。在整个流程中&#xff0c;用户首先需要建立工程并对工…

一文带你领略虚拟化领域顶级技术会议KVM Forum 2018

KVM Forum是由Linux基金会组织的高端技术论坛会议&#xff0c;主要为社区各个维护者&#xff0c;开发人员&#xff0c;和用户提供一个讨论Linux虚拟化技术发展趋势以及挑战的交流场所。参会人员都集中在KVM虚拟化相关领域&#xff0c;是KVM社区最为重要和权威的大会。 概述 2…

直击KubeCon 2018 |云原生正在改变你的衣食住行

云计算从不被看好到成长为势不可挡的技术潮流&#xff0c;仅仅用了十年的时间。如今“云原生”又被企业以及开发者奉为圭臬&#xff0c;并被认为是云计算的未来。 阿里云容器技术负责人易立认为云计算有三个阶段&#xff1a;云搬迁、云就绪和云原生。 第一个阶段是为了降低成…

玩大了!别再埋头学Python了,它真的无用!

在知乎上有一个特别火的问题&#xff1a;如何学Python&#xff1f;你会看到很多高赞回答是&#xff1a;我一天就学完了。在大家群嘲的背后&#xff0c;我们来分析一下&#xff0c;为什么在已经学过的人眼里&#xff0c;Python这么容易学&#xff0c;甚至简单到被某些人鄙视呢&a…

2020洪灾地图_卫星地图看洪灾:为何湖北易发洪水?

▲7月6日&#xff0c;武昌江滩凉亭被淹没。图片来源&#xff1a;中国气象局疫情甫定&#xff0c;洪水又来。入汛以来&#xff0c;长江中下游地区的日子并不好过。荆楚大地湖北遭遇多轮强降雨&#xff0c;引发严重洪涝灾害&#xff0c;让我们不禁将目光再次聚焦这里。荆楚大地为…

双十一高并发场景背后的数据库RDS技术揭秘

【战报】11月11日聚石塔&#xff08;阿里云数据库RDS产品形态&#xff09;峰值QPS突破X00w&#xff0c;Proxy 峰值QPS超过X00w。 双十一就要来了&#xff0c;全世界都为其疯狂&#xff0c;但是在双十一抢购中经常会出现几万人抢一个红包或者很多人共同购买一个商品的情况&…

Vue优化策略_项目发布_01

文章目录一、移除console 策略1. 命令1.1. 插件官网&#xff1a;1.2. 安装babel-plugin-transform-remove-console1.3. 在babel.config.js或者.babelrc文件中配置2. 图形化(推荐使用)2.1. 在线图形化安装插件2.2. 在babel.config.js或者.babelrc文件中配置二、生成打包报告1. 通…