Flink ML 的新特性解析与应用

摘要:本文整理自阿里巴巴算法专家赵伟波,在 Flink Forward Asia 2023 AI特征工程专场的分享。本篇内容主要分为以下四部分:

  1. Flink ML 概况
  2. 在线学习的设计与应用
  3. 在线推理的设计与应用
  4. 特征工程算法与应用

一、Flink ML 概况

图片

Flink ML 是 Apache Flink 的子项目,遵循 Apache 社区规范,愿景是成为实时传统机器学习的事实标准。

2022年1月份 Flink ML API 发布,7月份发布完备、高性能的 Flink ML 基础设施,2023年4月份发力特征工程算法并服务用户,6月份支持 Flink 多版本。

二、在线学习的设计与应用

2.1 在线机器学习工作流样例

图片

有两个模型AB,用 online 在线学习的方式去训练这两个模型,并且使用模型去进行在线推理,在推理过程中这个模型是流动形式,叫做 Model stream (模型流),以模型流的方式将模型不断地流入链路中,使模型具有更好的实时性。推理结束之后,推理样本会推荐给一些前方的客户,客户对结果进行反馈,再进行一些样本的拼接,最后返回到训练的数据流形成闭环,这就是工作流样例。

图片

接下来以工作流样例来介绍在线学习的设计。训练数据进行切分后,切成不同的 window,每个 window 在经过 Estimator 的时候需要更新里面的模型,之后该模型会流到下面推理的链路中,随着数据的不断流入,模型会一个接一个的往推理的链路中流动,这就是 Model stream(模型流),其思路是通过把模型做成一个队列的方式去支持推理以达到更好的时效性。

存在的问题:

  1. 如何使数据拆分更加合理?对不同的业务有不同的要求,有的希望用时间,有的希望用大小,都需要一些策略。
  2. 因为数据和模型都是流动的,两个往同一个地方去流,那么如何决定一条样本来了之后用哪个模型进行推理?
  3. 如何保证模型的一致性?因为链路中有两个模型,如果两个模型的训练数据不一致会导致出现一些问题。
  4. 数据是用哪一个模型推理出来的?每一条样本是哪个模型推理出来的,预测的好坏需要去追溯源头。

2.2 在线机器学习的设计

图片

针对四个问题,有四条设计需求:

  1. 支持将输入数据划分为多个 window 进行训练,产生一个模型流。
  2. 支持使用输入的模型流来对数据进行预测。
  3. 支持用户指定推理数据和当前模型数据的时间差。每一条样本来了之后,我们希望用最新的模型去进行推理,但是最新的模型可能还没有训练出来,这个时候就需要设定一个时间差,允许它用非最新的模型进行推理。
  4. 支持在输出数据中暴露预测每条数据时使用的模型版本。从预测结果追溯出模型的需求。

针对这些需求,我们的设计方案是:

  1. 增加 HasWindows 接口。
    允许用户声明划分数据的不同策略。
  2. 为 ModelData 增加 model version 和 timestamp。
    model version 的值从 0 开始,每次增加 1。
    模型数据的时间戳为训练得到该模型的数据的最大时间戳。
  3. 增加 HasMaxAllowedModelDelayMs 接口。
    允许用户指定预测数据 D 时,使用的模型数据 M 早于 D 的时间小于等于设定的阈值。
  4. 增加 HasModelVersionCol 接口。
    推理过程中,允许用户输出预测每条数据时使用的模型版本。

图片

有了方案之后再回来看问题:

  1. 怎么切分 window:
    提供 window 策略,用户可以根据自己的需求去做一些适合自己业务场景的切分。
  2. 选择哪一种模型来推理当前数据:
    通过阈值参数设定允许离当前数据多远的模型进行推理;理论上可以用最新模型,但是可能会造成等待之类的问题。
  3. 关于模型的一致性:
    每一条样本在预测的时候都会带一个模型版本,经过第一个模型预测再到第二个模型推理的时候会自动获取版本号,两边用同样的版本进行推理,最后输出的结果会带有一个版本号。

这样就把最初提的四个问题解决了。

2.3 在线学习在阿里云实时日志聚类的应用

图片

阿里云 ABM 运维中心会把阿里所有平台的日志都收集到一起,然后会针对错误日志做一个聚类,把错误日志发送到对应的部门,去进行后续的处理。

图片

传统算法工程链路首先进行数据输入,用 Flink job 进行数据加工处理,数据会落盘,之后通过定时调度来拉起聚类算法,然后写出模型,这个模型再通过加载的方式拉起 Flink job 进行数据预测,但是整个链路具有局限性,流程比较复杂,运维成本比较高,实时性低,并且性能难以保证。

图片

日志聚类算法流程把系统日志进行预处理和编码后分词,做特征选择提取关键词,然后做日志的特征表示和标准化,再做层次聚类,日志的类别,最后写出到数据库,用来指导分词。

图片

针对该流程我们使用 Flink ML 构建流式日志聚类就可以把这个流程串起来。通过 Flink job 拼接 SLS 与数据库全量数据,接着进行清洗和编码日志数据,然后分词和标准化,计算聚类结果,最后选取簇内典型代表日志。

图片

把这个案例中的算子进行抽取,像 SLS 流式读取,分词,日志的向量化,特征选择,特征的标准化,这些并不是业务独有的,而是很多在线学习业务都需要的算子,把它抽取出来,做成一个独立的组件,客户需要做在线学习流程的时候可以来复用这些算子。

图片

日志聚类算法链路升级的收益:

  • 在链路延迟方面,将原来 5 min 的延迟降低到 30s
  • 运营成本降低,现在只需要维持 1 个 Flink 作业
  • 分析成本降低
  • 算法性能提升

三、在线推理的设计与应用

图片

推理主要分为:

  1. 批量推理:例如,有 100w 条数据落盘,然后起一个批的任务对这100万条数据进行推理,再进行落盘。
  2. Near-line (近线)推理:基于 Flink 的任务,读取 Kafka 数据,通过 Transformer 的方式对流式的数据进行推理。这种推理有一个比较大的问题是延迟比较高,一般在百毫秒量级,在实际的业务场景中,推理需要很低的延迟,一般是几十毫秒甚至几毫秒,这就需要我们做一个推理框架去适应高要求的业务场景。

图片

在做这个之前我们对 Spark ML 的推理进行了一个调研。后来发现 Spark ML 本身是没有推理模块的,它有一个 mleap,把 Spark 推理这部分做成一个推理框架,这个推理框架与引擎 Runtime 完全无关,减少依赖冲突,是一个更轻量的框架,另外这个新框架可以为推理重写计算逻辑代码,拥有更大的优化空间。

3.1 设计需求

图片

设计需求借鉴了 mleap 的做法:

1. 数据表示(与 Flink Runtime 无关)

         单条数据表示:Row

         批量数据表示:DataFrame

         数据类型表示,提供 Vector、Matrix 等类型的支持

2. 推理逻辑表示

3. 模型加载

          支持从 Model/Transoformer#save 的文件中加载

          支持动态加载模型数据,而不需要重启

4. Utils

          支持检查 Transformer/PipelineModel 是否支持在线推理

          串联多个推理逻辑成单个推理逻辑

图片

在这个设计需求下,左边是推理的数据结构 DataFrame,包含了 Column names, Column types, Row,进入推理逻辑之后输出还是同样的数据结构,这样整个推理结构就可以串起来,不需要有数据结构转换。

图片

模型加载这边都是通过 save 函数将模型写入到磁盘,左边的 save 是 Flink ML 做的事情,右边的 loadServable 是推理框架做的事情,通过这两个函数实现了模型的保存加载和推理。

图片

接下来以逻辑回归为例来看代码的实现,通过 save 函数把模型写出到指定的目录,下面的 load 是推理框架做的事情,以 load 模型的文件去做推理。

图片

模型的数据更新这部分是通过把一个模型写入到 kafka 里面,kafka 再 set 到模型的 Servable 里面,当把模型写入到 kafka 里的时候模型会自然而然的流入到 Servable 里面,最终实现模型的动态更新。

下面是代码

图片

setModelData 的输入是 InputStream,它可以从 kafka 里读入,当更新 kafka 里的数据时它就可以更新到模型里面。

图片

另外我们也支持 PipelineModel 推理,可以从 PipelineModel 的模型数据构建 Servable, 检查 PipelineModel 是否支持在线推理,不需要执行训练作业就能判断。

3.2 使用场景

图片

最后来看使用场景,这是一个简化的 ML 模型训练、预测和部署的流程。首先是读入数据,做特征工程,然后做评估和部署。这边使用 PipelineModel 将标准化和 GBT 分类这两个模型打到 Pipeline 里面去,再去做在线的推理服务。

以下是代码

图片

将标准化和 GBT 两个模型通过 Pipeline 写出去,在推理模块中最终实现 Pipeline 的推理,并且推理支持写出和动态加载。

四、特征工程算法与应用

4.1 特征工程算法

图片

新增27个算法,总共33个,基本覆盖常用算法。

4.2 特征工程的应用

图片

首先是做推荐,广告的评估,都需要特征的处理。第二个应用场景是用于实现一些复杂的算法,以 GBT 为例,处理数值特征和处理类别型特征。另外在大语言模型这块,Flink ML 也做了一些设计。

图片

接下来以大语言模型为例,来看特征工程的业务。高质量的文本输入可以获得更好的大语言模型,而文本近似去重能提高文本质量。对于互联网数据来说,文本重复的比例通常 20%-60% 之间,文本规模越大,重复比例越高。

图片

针对这个问题,我们设计了近似去重流程:

  • 不同于精确去重:不要求完全一致,或者子串关系
  • 基于局部敏感性哈希 Locality-sensitive hashing:相似的样本更容易被 Hash 到相同的 buckets 内
  • 对于文本数据来说,通常基于文本特征化后的 Jaccard 距离,使用 MinHashLSH 来找到相似文本

图片

通过这些组件,可以完成文本去重流程:

  • Tokenizer:进行分词
  • HashingTF:将文本变换为 Binary 特征
  • MinHash:计算文本签名
  • MinHashLSH:进行 SimilarityJoin,找到相似对

图片

最后是性能的测试,这是手动构造的 Benchmark 数据集,直接通过复制、删除之类的操作拿到一个数据集。对于5亿的数据,重复率为 50%,耗时大概 1.5h,后面是对应的去重效果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/699195.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

wordpress免费主题模板

免费大图wordpress主题 首页是一张大图的免费wordpress主题模板。简洁实用,易上手。 https://www.jianzhanpress.com/?p5857 wordpress免费模板 动态效果的wordpress免费模板,banner是动态图片效果,视觉效果不错。 https://www.jianzhan…

【深度学习】SSD 神经网络:彻底改变目标检测

一、说明 Single Shot MultiBox Detector (SSD) 是一项关键创新,尤其是在物体检测领域。在 SSD 出现之前,对象检测主要通过两阶段过程执行,首先识别感兴趣的区域,然后将这些区域分类为对象类别。这种方法虽…

RT-Thread 时钟 timer delay 相关

前言 此处,介绍对delay 时钟 timer 这几部分之间的关联和相关的知识点;本来只是想介绍一下 delay的,但是发现说到delay 不先 提到 先验知识 晶振\时钟\时钟节拍\定时器 好像没法解释透彻,所以就变成了 晶振\时钟\时钟节拍\定时器\delay 的很简单的概括一遍;并附带上能直接运行的…

反序列化 [NPUCTF2020]ReadlezPHP1

打开题目 直接查看源代码 打开源代码发现了个./time.php?source 访问一下 审计代码: 现存在反序列化语句:$ppp unserialize($_GET["data"]);和执行漏洞:echo $b($a); 发现在__destruct()方法里面有 echo $b($a); 这个是php的…

Stable Diffusion 模型分享:A-Zovya RPG Artist Tools(RPG 大师工具箱)

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。 文章目录 模型介绍生成案例案例一案例二案例三案例四案例五案例六案例七案例八 下载地址 模型介绍 A-Zovya RPG Artist Tools 模型是一个针对 RPG 训练的一个模型,可以生成一些 R…

基于springboot+vue的靓车汽车销售网站(前后端分离)

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

Shiro 1.2.4反序列化漏洞

一、shiro描述 Apache Shiro是一个强大且易用的Java安全框架,执行身份验证、授权、密码和会话管理。使用Shiro的易于理解的API,可以快速、轻松地获得任何应用程序,从最小的移动应用程序到最大的网络和企业应用程序 二、漏洞原理 AES加密的密钥Key被硬…

python递归算法

递归算法 一、嵌套调用的过程二、递归的基本原则1、递归的基本原则2、无限递归调用3、正常递归调用4、阶乘问题5、力扣:231. 2 的幂6、力扣面试题 08.05. 递归乘法7、力扣、326. 3 的幂8、力扣342. 4的幂 一、嵌套调用的过程 def show1():print("show 1 run s…

自学Python第十八天-自动化测试框架(二):DrissionPage、appium

自学Python第十八天-自动化测试框架(二):DrissionPage、appium DrissionPage环境和安装配置准备工作简单的使用示例控制浏览器收发数据包模式切换 浏览器模式创建浏览器对象访问页面加载模式none 模式技巧 获取页面信息页面交互查找元素ele()…

uniapp腾讯地图JavaScript Api,H5端和原生APP端可用

因项目需要,在uniapp中集成使用腾讯地图,为了方便维护,希望通过一套代码实现H5和APP同时可用。H5显示相对简单,APP端比较麻烦,记录下实现过程 一、集成步骤 1.使用 renderjs script标签使用renderjs,因为…

一文了解LM317T的引脚介绍、参数解读

LM317T是一种线性稳压器件,它具有稳定输出电压的特性。LM317T可以通过调整其输出电阻来确保输出电压的稳定性,因此被广泛应用于各种电子设备中。 LM317T引脚图介绍 LM317T共有3个引脚,分别是: 输入引脚(输入电压V_in&…

软件应用场景,物流货运配货单打印模板软件单据打印查询管理系统软件教程

软件应用场景,物流货运配货单打印模板软件单据打印查询管理系统软件教程 一、前言 以下软件以 佳易王物流快运单打印查询管理系统软件V17.1 软件文件下载可以点击最下方官网卡片——软件下载——试用版软件下载 1、打印模式可以分为 直打模式和套打模式 直打模…

MySQL-----多表操作

介绍 实际开发中,一个项目通常需要很多张表才能完成。例如:一个商城项目就需要分类表(category)、商品表(products)、订单表(orders)等多张表。且这些表的数据之间存在一定的关系,接下来我们将在单表的基础上,一起学习多表方面的知识。 一 多…

使用HiveMQ实现Android MQTT

MQTT官网:https://mqtt.org/ 百度Android MQTT,或者B站上搜索,发现大多使用https://github.com/eclipse/paho.mqtt.android,这是Eclipse的一个Android MQTT客户端实现库,但是我发现这个库在运行到高版本的手机上时报错…

Rust核心:【所有权】相关知识点

rust在内存资源管理上采用了(先进优秀?算吗)但特立独行的设计思路:所有权。这是rust的核心,贯穿在整个rust语言的方方面面,并以此为基点来重新思考和重构软件开发体系。 涉及到的概念点:借用&am…

使用Postman和JMeter进行signature签名

一、前言 ​ 有些接口的请求会带上sign(签名)进行请求,各接口对sign的签名内容、方式可能不一样,但一般都是从接口的入参中选择部分内容组成一个字符串,然后再进行签名操作, 将结果赋值给sign; 完整规范的接口文档都会…

Spring Boot与HikariCP:性能卓越的数据库连接池

点击下载《Spring Boot与HikariCP:性能卓越的数据库连接池》 1. 前言 本文将详细介绍Spring Boot中如何使用HikariCP作为数据库连接池,包括其工作原理、优势分析、配置步骤以及代码示例。通过本文,读者将能够轻松集成HikariCP到Spring Boot…

六、回归与聚类算法 - 模型保存与加载

目录 1、API 2、案例 欠拟合与过拟合线性回归的改进 - 岭回归分类算法:逻辑回归模型保存与加载无监督学习:K-means算法 1、API 2、案例

vue : 无法加载文件 C:\Program Files\nodejs\node_global\vue.ps1,因为在此系统上禁止运行脚本。

解决方法: 打开PowerShell,在命令框输入set-ExecutionPolicy RemoteSigned 在PowerShell中输入会出现如下图,输入y即可。

RabbitMQ 部署方式选择

部署模式 RabbitMQ支持多种部署模式,可以根据应用的需求和规模选择适合的模式。以下是一些常见的RabbitMQ部署模式: 单节点模式: 最简单的部署方式,所有的RabbitMQ组件(消息存储、交换机、队列等)都运行在…