基于实时计算Flink的机器学习算法平台及场景介绍

作者：高旸（吾与），阿里巴巴高级技术专家

1. 前言

随着互联网“人口红利”的“消耗殆尽”，基于“T+1”或者离线计算的机器学习平台及推荐系统转化率与效果日趋“平淡”。后疫情时代的新社会模式及经济形态必将催生出新的商业模式，在线业务及相关应用场景的流量呈现井喷式发展，常规的离线系统及离线机器学习平台已无法满足业务发展要求。人口红利吃尽之后，基于大数据及AI平台的业务系统在时间维度上的思考将变得至关重要，通过业务系统实时化向时间要价值已经成为主流趋势。基于流式计算引擎的在线机器学习平台将越来越被重视，通过增量模型的准实时或实时推荐系统更能“因时而异” 充分捕捉目标用户瞬息万变的需求，从而进行精准推荐和变现。实时推荐系统也从最早的电商场景，扩展到社交场景，在线教育场景，游戏场景及更广阔的在线场景。

本文介绍重点介绍基于阿里云大数据及AI产品家族的实时计算Flink及PAI Alink机器学习算法平台，以及该产品组合在实时推荐场景（适用于电商、游戏及在线教育解决方案）、实时评分卡场景（适用于金融、安全及营销风控解决方案）以及异常检测场景（适用于工业领域及其他产业互联网领域）的场景应用。

2. 实时计算引擎及机器学习算法平台介绍

2.1 阿里云实时计算Flink

阿里云实时计算Flink作为Apache Flink创始团队的商业化产品，从极致（较传统微批模式）的实时数据处理维度，为企业大数据处理及业务实时化提供了可能。商业化的统一开发及管控平台，成熟、准标准化的SQL及元数据管理能力，让业务人员及数据分析师大幅度提升开发效率， SQL配合UDF基本可以解决80%+的业务场景。企业级的State Backend – Gemini大幅度提升IO效率，整体执行引擎较开源3倍以上的性能提升。

基于阿里云Kubernetes的全新Serverless全托管云上实时计算Flink服务，使用全新的硬多租技术方案，基于VPC提供网络层隔离，阿里云安全容器提供计算层隔离，基于弹性云盘提供存储级隔离，通过用户级Master及超级Master实现极致资源弹性下的多租户隔离。基于负载的细粒度弹性伸缩，充分提高资源使用率，降低整体TCO。新一代的Serverless实时计算Flink产品为在线机器学习算法平台提供了坚实（“时“）的基础。

2.2 阿里云PAI Alink机器学习算法平台

与SparkML算法相比，Alink算法更全面，性能更优异，场景更丰富（同时支持流批），本地化更出色（支持中文分词）是快速搭建在线机器学习系统的不二之选。

3. 基于实时计算Flink-机器学习场景介绍：

3.1实时推荐场景：

从根据用户点击和浏览的内容实时推送的电商场景，到社交媒体根据用户阅读的内容实时“喂送“的实时推荐系统，再到游戏推送平台根据用户行为实时推送的游戏系统，实时推荐系统俨然已经成为了在线业务系统的核心。

阿里云PAI Alink算法平台提供：召回（例如：ALS、FM、Deep Walk等），特征编码（OneHot、MultiHot及GBDT等），排序（LR及FFM等）以及Online算法（OnlineFM及Ftrl）流式和批式的算法能力全流程构建能力。配合阿里云实时计算Flink海量样本实时拼接能力，能够快速端到端实现离在线一体化的推荐系统。

通过特征工程批式训练初始化模型，通过实时样本拼接配合流式算法（OnlineFM及Ftrl）生成增量的模型，最终提供统一模型的整体结果预测，更实时更动态的提升推荐效果。

3.2 评分卡场景介绍：

阿里云实时计算Flink及PAI Alink产品组合可以帮助客户快速搭建实时金融风控解决方案。评分卡在金融场景有广泛的应用，能否构建准确的评分卡模型关系到能否安全的开展支付、贷款、保险、理财、信用等业务，评分卡常被用于信用评估领域，比如信用卡风险评估，贷款发放；评分卡也会用来作为分数评估，比如客户质量打分，信用分。涉及金融的场景都需要：可追溯、可审计及可解释，如下的评分卡模型就具备很好的可解释性。例如：用户年龄27岁，性别男，婚姻状况已婚，学历本科，月收入10000。根据如下评分卡，该用户的评分为：评分 = 223（基准分） + 8（年龄） + 4（性别评分）+ 8（婚姻状况）+ 8（学历评分）+ 13（月收入评分）= 264分。

阿里云实时计算Flink及PAI Alink产品组合提供最先进的评分卡解决方案，分箱将每个特征按照需求进行分箱训练；评分卡训练生成评分模型；样本稳定性通过PSI等指标衡量样本稳定性；模型评估，评估二分类模型效果。该解决方案支持多特征维度模型训练，支持大规模样本建模。

3.3 异常检测场景

异常检测及时序分析是一个较为常见并且应用广泛的场景，在工业界的应用尤甚。利用阿里云实时计算Flink及PAI Alink产品组合可以帮助客户快速搭建异常检测解决方案。实时计算Flink强大的性能与Alink丰富的算法库机相结合，可以帮助数据分析和应用开发人员实现数据处理、特征工程、模型训练、预测等多个环节端到端的处理。在异常检测场景下，Alink支持时间序列异常检测、异常集检测两个核心场景。

在时间序列异常检测中，Alink具备种类齐全、批流一体、性能优异、并行计算、使用方便等优势。针对不同的使用场景，分为基于时序预测和时序分解两种类型：

时序预测算法适合流式数据，即时响应
时序分解算法适合全量数据，能够从全量数据中挖掘有效信息。

Alink也提供了时序预测和时序分解算法，用户可以单独使用。

异常集检测是风控场景的核心诉求之一。Alink 异常集检测中具备如下优势：

巨型图支持 - 支持上亿边的图数据
在线更新 - 随时加上异常种子均可局部异常检测
快速运算 - 只对局部图进行运算，节约计算资源

在盗用、欺诈、作弊、商户、借贷套现等各风险域都有异常集检测的需求存在。基于GraphRAD，Alink实现了半监督的异常集检测，RiskCommunityDetector。算法输入连接关系以及已知的黑点，即可对全图进行分析，捕获其它黑用户，降低业务运行过程中的风险，为业务安全保驾护航，避免可能发生的重大损失。