基于Blink为新商业调控打造实时大数据交互查询服务

案例与解决方案汇总页：
阿里云实时计算产品案例&解决方案汇总

从IT到DT、从电商到新商业，阿里巴巴的每个细胞都存在大数据的DNA，如何挖掘大数据的价值成为抢占未来先机的金钥匙！传统的大数据开发主要基于离线计算平台MaxCompute（ODPS）进行天级别、小时级别的批量数据分析，但近些年随着618、99、双11、双12等大促活动的常态化，传统的离线数据分析已经无法满足大促当天的需求，以双11实时交易数据为例，试想如果我们只能看到前一小时或者前一天的成交数据，对于公司高层的决策制定、对于行业/运营/商家/商品的行动指导、对于算法的预测调控将大大折扣，可以说大数据实时化已经成为通向新商业体系必须拥有的诺亚船票。

从2017年8月开始，一群有激情有干劲的小伙伴历经三个月打造出一套实时大数据交互查询服务，完美的支撑了珠峰、闪电、通天塔、优惠券、凑单等业务的实时需求，并经过了双11、双12等大促活动的实战考验！！

一、背景介绍

珠峰调控的典型应用场景如下图所示：

采集：用户在淘宝的每一次浏览/点击/加购/成交等行为都被记录在日志中，并实时传送到TimeTunnel，该部分工作由业务团队或数据团队完成
加工：基于集团的明星产品Blink，对所需业务渠道的日志进行加工处理，产出业务所需要的各种维度/各种指标
装载：将加工好的格式化数据装载到lightning交互式查询引擎，方便后续快速查询
分析：通过定制化报表可以实时动态展示行业/类目/商家/宝贝/分桶等多维实时指标，方便小二分析决策，更多业务报表详见珠峰、闪电
干预：在搜索/推荐等产品中，算法自动获取指标、并根据实时分析的结果更改线上参数，影响线上效果
干预后的结果又进入下一个数据轮回，直到业务目标完成

二、解决方案

2.1 确立目标

改造后的实时数据既要满足功能，还要可兼容、可扩展：

数据的正确性和稳定性是一切的前提，实时数据统计口径必须和离线一致
资源有限，必须打造统一的解决方案满足已有需求，以及未来可能的需求
建立标准化，拉更多人一起参与数据共建
数据的生产和消费都要统一管理，消灭一切不合理

2.2 梳理需求

将各平台的业务需求进行挨个梳理，针对数据自身特点进行抽象，确定数据分层：

全网数据：独立的数据表，如全网加购、全网成交等
渠道数据：根据业务独立性划分为手淘搜索、推荐、营销平台等渠道，各渠道包括数据指标：曝光（宝贝曝光/搜索曝光）、点击、引导加购、引导成交等，各数据指标是独立的数据表
子业务场景：含在渠道数据表中，存储在固定字段并用关键字区分，例如手淘搜索全部分页/天猫分页、推荐的猜你喜欢/购后等
数据维度：含在渠道数据表中，存储在固定字段（如时间、宝贝、卖家、类目、行业等）和多值字段（如分桶、BC类型等）

梳理各业务方关注的数据场景，梳理出双11的数据需求和查询需求：

数据要求：
- 宝贝量从去年的20w到5kw，增长250倍
- 卖家量从去年的1500到16w，增长100倍
- 单表最大数据量＞ 600亿
实时性：
- 单表写入最大QPS ＞ 200w/s
- 数据延迟时间（日志落地到查询可见）＜ 5s
查询需求：
- 查询频率：3s、1min、5min、1h
- 查询范围：当天、当前小时、前5min、前10min
- 查询响应时间＜ 3s
- 单表查询QPS ＜ 100/s

2.3 架构选型

目前可以满足上诉性能要求，并且相对成熟的实时大数据架构方案有两种：

blink + kv存储：在blink层进行数据预聚合并将聚合后的计算值写入kv存储，用户按照事先约定好的key进行查询即可拿到实时结果，常用的kv存储比如hbase、redis、tair等。该方案的优势是查询毫秒级响应并支持查询高并发，但不足之处是可扩展性较差，增加维度或改变查询条件需要改动整条链路。比如双11媒体交易大屏，提供00:00到当前时刻的交易总额，但如果想查看10:00-10:20的交易总额改造成本就会很高甚至无法进行
blink + olap/oltp：在blink层进行数据明细加工并补充数据标签，加工后的数据装载到olap/oltp，用户带着自定义条件进行查询。该方案最大的优势就是交互式查询，用户可以根据自己需要进行各种维度的查询组合，但不足之处就是无法支持高并发高QPS查询，而且查询之间会互相干扰，偶尔一个大的聚合查询会导致其它查询失败

两套方案各有优劣各有适应的业务场景，考虑到我们打造的实时数据支持的业务场景较多而且需求各不相同，综合比较之后我们选择了第二套方案，至于不支持高QPS的问题我们通过优化查询Query解决。实践证明我们的选择是很明智的，用户对实时数据的查询需求随着大促逐渐临近呈爆发性的增长，甚至双11当天决策层还对我们提出若干新的数据需求，不过我们都轻松应对，合理的架构让一切不可能成为了可能