【机器学习】对 MLOps 的友好的介绍(MLOps1)

 

一、说明

        我对 MLOps 感兴趣已经有一段时间了。我第一次从机器学习工程师那里了解到它,由于我当时还是一名博士生,我并不知道它的存在。然而,我的好奇心被激起了,我开始了解它。回想起来,我很后悔没有早点了解它,以优化我的机器学习工作流程。

        在本文中,我将尝试提供对 MLOps 的初学者友好的介绍,并以简单的方式解释关键概念。作为一个一开始也觉得很难理解的人,我理解需要对这个主题进行更简单的介绍。我希望在阅读本文后,初学者会更自在地阅读有关 MLOps 的更高级文档。

二. 对 MLOps 的动机

        由于机器学习技术在各个研究领域的成功,许多公司都试图将它们整合到他们的软件系统中,以提高效率并解决现实世界的问题。但是,对于许多公司来说,在生产环境中实施机器学习可能是一个具有挑战性且耗时的过程。此外,部署后,必须管理和维护模型,并且必须监视其性能以确保其正常运行。这些任务在大型软件系统中尤其困难。

另一方面,软件工程师使用 DevOps(开发和运营)范式,这是一组促进开发和运营团队之间协作和沟通的实践和工具来开发和管理系统。这有助于保持开发速度和质量。MLOps 旨在将这些 DevOps 原则应用于机器学习系统。考虑到这个背景,MLOps 到底是什么?

2.1  定义

        若要定义 MLOps,让我们首先检查各种定义:

定义1:

“MLOps(机器学习操作)是一种范式,包括最佳实践、概念集等方面,以及机器学习产品的端到端概念化、实现、监视、部署和可伸缩性的开发文化。”[1]

定义2:

“DevOps 方法的扩展,将机器学习和数据科学资产作为 DevOps 生态中的一等公民包括在内” [2]

定义3:

我们可以使用机器学习工程(MLE)的定义,其中MLE是使用机器学习和传统软件工程的科学原理,工具和技术来设计和构建复杂的计算系统。MLE涵盖了从数据收集到模型构建的所有阶段,以使模型可供产品或消费者使用。(作者:A.布尔科夫)[3]。

根据前面的定义,我们可以将 MLOps 理解为一组技术和实践,用于以高效、优化和有组织的方式设计、构建和部署机器学习模型。这些技术和做法通常在 MLOps 生命周期的上下文中进行讨论。

2.2 . MLOps 生命周期

MLOps 生命周期(源) CC BY 4.0

MLOps 生命周期由 MLOps 范例中涉及的步骤和技术组成,从设计和开发机器学习模型到将其部署到生产环境中,以及随着时间的推移对其进行监视和维护。它通常分为三个主要阶段:

  • 第一阶段是设计过程,涉及定义业务问题、模型的需求及其预期用例。这通常涉及创建 AI/ML 画布。
  • 第二阶段是模型开发过程,包括数据和模型工程。
  • 第三阶段是涵盖模型部署和维护的操作流程。

在部署模型后,随着时间的推移保持模型的性能非常重要,因此这些阶段通常以循环方式执行。这可确保模型性能良好,并且仍能满足第一阶段定义的需求。现在,我们已经讨论了 MLOps 生命周期的各个阶段,让我们检查一下 MLOps 工作流,其中概述了在该过程的每个阶段执行的特定任务和活动。

2.3  MLOps 工作流

MLOps 工作流

MLOps 工作流概述了开发、部署和维护机器学习模型要遵循的步骤。在理想情况下,遵循工作流就足够了:首先,了解业务问题,然后选择、训练和部署模型。但是,在现实世界中并非总是如此。在任何时候,都可能需要返回到上一步。此外,部署模型后,必须对其进行维护和监视,这就是为什么了解 MLOps 生命周期和 MLOps 工作流非常重要的原因。

三、MLOps模型实用

3.1. 业务问题

业务问题(工作流程图、AI 画布和 ML 画布均来自源 CC BY 4.0)

MLOps 工作流的第一步是了解业务问题,这涉及定义模型的输入和输出,以及流程及其各种子任务。若要构建此过程,可以使用 AI(人工智能)画布或 ML(机器学习)画布,可以将其视为用于组织 MLOps 工作流的模板。AI 画布通常为 ML/AI 实现提供高级结构,而 ML 画布提供系统的高级描述和细节。您可以在此处阅读有关这些画布的更多信息。

让我们举个例子!假设为了改进其产品,一家乳制品公司有兴趣收集消费者对其的反馈。为此,需要对消费者对社交媒体平台上的产品的评论进行情感分析。机器学习技术可用于训练模型,以将这些评论的情绪分类为正面、负面或中性。这将使公司能够更好地了解客户对其产品的体验,并确定需要改进的领域。此业务问题描述转换为 AI 画布和/或 ML 画布,以获得更清晰的表示:

  • 预测/预测任务:AI系统将分析文本输入并预测文本的情绪(正面,负面或中性)。
  • 判断:系统将使用自然语言处理技术来理解文本的含义和情感。
  • 行动/决策:根据预测的情绪,系统可能会采取不同的行动,例如标记负面评论以供进一步审查,或优先考虑正面的社交媒体帖子以进行推广。
  • 结果:期望的结果是系统准确地对文本输入的情绪进行分类,从而提高客户满意度、更好的社交媒体参与度或其他好处,具体取决于特定用例。
  • 训练:系统将在标记文本数据的数据集上进行训练,其中包含输入文本和相应的情绪标签。
  • 输入/数据源:系统将接受来自各种来源的文本输入,例如社交媒体帖子或客户评论。
  • 输出/进行预测:系统将分析文本输入并预测文本的情绪(正面、负面或中性)。
  • 反馈:系统可以合并来自用户或利益相关者的反馈,以随着时间的推移提高其性能,例如通过调整自然语言处理算法的参数或向训练数据集添加新数据。
  • 离线评估:系统将使用标准评估指标(如精度、召回率和 F1 分数)进行评估,以确保它准确地对文本输入的情绪进行分类。
  • 实时监控:系统将根据需要持续监控和更新,以确保其随着时间的推移继续准确运行。

3.2. 数据工程

数据工程

了解手头的业务问题后,MLOps 工作流的下一步是数据工程过程。这包括数据引入、探索和验证、数据清理、数据标记和数据拆分。

  • 数据引入涉及使用一组技术来收集数据、创建备份、保护私人信息、创建元数据目录和对测试集进行采样,以避免数据侦听偏差。
  • 为了探索和验证数据集,使用了一组统计和可视化技术。
  • 收集的数据通常具有噪声、包含异常值和缺失值。这些问题可能会影响下一个过程,因此应用数据清理步骤来解决这些问题。
  • 当所选模型基于监督学习时,数据标记是必要的。此步骤可以手动、自动或半自动完成。
  • 数据拆分是此过程的最后一步,涉及将数据划分为训练集、验证集和测试集。

3.3. ML 模型工程

机器学习模型工程

MLOps 工作流的第三步是机器学习工程,其中包括模型训练、模型评估、模型测试和模型打包。

  • 训练模型涉及特征工程、代码审查和版本控制以及超参数优化。您可能想知道为什么此步骤中包含特征工程而不是上一步。原因是在此步骤中测试了许多类型和体系结构的模型,因此所有模型的特征工程通常都不相同。值得注意的是,在此步骤中选择最合适的模型之前,会训练和测试多个模型。
  • 模型评估涉及验证模型,以确保它满足业务问题步骤中描述的业务目标。
  • 在模型测试步骤中,使用初始测试集执行模型验收测试
  • 验证和测试模型后,最后一步是以特定格式导出模型,以便将其提供给业务应用程序。

3.4. 代码工程

代码工程

在此步骤中,模型已准备好部署到生产环境。模型部署包括三个步骤:模型服务、性能监视和性能日志记录。

  • 若要提供模型,必须考虑服务模式和部署策略。服务模式是指如何将模型集成到软件中,例如将其集成为服务、依赖项、使用预先计算的服务、按需服务或混合服务。部署策略是指用于包装模型的方法,例如将其部署为 Docker 容器或无服务器函数。
  • 监视模型涉及观察模型的整体行为,例如其预测与先前模型性能的偏差。
  • 性能日志记录涉及将模型预测的结果保存在日志记录中。

四、 结论

        在本文中,我们简要介绍了 MLOps。我们讨论了对 MLOps 的需求,提出了各种定义,解释了 MLOps 生命周期,并介绍了 MLOps 工作流。如果您想了解有关 MLOps 的详细信息,建议 ml-ops.org 以获取更多信息。

        这是关于 MLOps 的第一篇文章,当然不是最后一篇文章!我将编写更多有关 MLOps 及其各种技术的教程,并提供示例,敬请期待。如果您有任何问题或建议,请随时在下面给我留言。

引用

[1] Kreuzberger, D., Kühl, N., & Hirschl, S. Machine Learning Operations (mlops): 概述、定义和架构, 2022.DOI:10.48550。arXiv预印本arXiv.2205.02302

[2] MLOps 路线图 2020

[3] MLOps: Motivation

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/23071.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Go和Java实现装饰器模式

Go和Java实现装饰器模式 我们通过人穿着打扮自己的实例来演示装饰器模式的用法。 1、装饰器模式 装饰器模式允许向一个现有的对象添加新的功能,同时又不改变其结构。这种类型的设计模式属于结构型模式,它 是作为现有的类的一个包装。 装饰器模式通过…

vscode启动leiningen项目

要在 VS Code 中启动 Leiningen 项目,你可以按照以下步骤进行操作: 确保已经安装了 Leiningen。你可以在终端中输入 lein version 来检查是否已成功安装。 在 VS Code 中安装 Leiningen 扩展。打开 VS Code,点击左侧的扩展图标(四…

云原生应用里的服务发现

服务定义: 服务定义是声明给定服务如何被消费者/客户端使用的方式。在建立服务之间的同步通信通道之前,它会与消费者共享。 同步通信中的服务定义: 微服务可以将其服务定义发布到服务注册表(或由微服务所有者手动发布)…

flask--->CBV/模板/请求响应/session

CBV 1 cbv写法-1 写个类,继承MethodView-2 在类中写跟请求方式同名的方法-3 注册路由:app.add_url_rule(/home, view_funcHome.as_view(home)) #home是endpoint,就是路由别名2 cbv加装饰器-方式一:class Home(MethodView):decor…

视频添加字幕

1、依靠ffmpeg 命令 package zimu;import java.io.IOException;public class TestSrt {public static void main(String[] args) {String videoFile "/test/test1.mp4";String subtitleFile "/test/test1.SRT";String outputFile "/test/testout13…

Redis入门

0目录 1.Redis入门 2.Redis定义;特点及数据类型 3.Value为List类型 4.Value值类型为Set 5.Value值类型为Hash 6.Value值类型为Zset 1.Redis入门 Redis入门 解压包,运行redis-server.exe 安装可视化软件测试链接 命名测试链接 点击确定 2.Redis…

Python模块—Requests模块

文章目录 Requests库1.介绍2.requests 发送请求3.Response查看响应 Requests库 1.介绍 Requests库:python中的“浏览器”,基于urllib的HTTP库。 安装:pip install requests 操作步骤: 导包 发送接口请求 查看响应数据 2.r…

基于ArcGIS污染物浓度及风险的时空分布

在GIS发展的早期,专业人士主要关注于数据编辑或者集中于应用工程,以及主要把精力花费在创建GIS数据库并构造地理信息和知识。慢慢的,GIS的专业人士开始在大量的GIS应用中使用这些知识信息库。用户应用功能全面的GIS工作站来编辑地理数据集&am…

ResNet50卷积神经网络输出数据形参分析-笔记

ResNet50卷积神经网络输出数据形参分析-笔记 ResNet50包含多个模块,其中第2到第5个模块分别包含3、4、6、3个残差块 5049个卷积(3463)*31和一个全连接层 分析结果为: 输入数据形状:[10, 3, 224, 224] 最后输出结果:linear_0 [10,…

git 版本回退

git 没有push之前,可以用git reset --mixed回退,就是把add 的内容和commit的内容都撤销 在push之后,你只有2种操作 1.git reset 退回到你想要的那个版本 有配置选项 如果是soft就是当前版本删掉,之前改的代码保留,ha…

TikTok海外抖音云控抢金币宝箱

TikTok海外抖音云控抢金币宝箱 中芯密科云控系统是一个稳定、操作简单的自动化管理工具,专为大型机房设计,可以监控、控制和管理机房内的设备。该系统具有负载均衡、操作简单、高容错等特点,能够提高机房设备的稳定性和可用性。 该系统具有以…

java使用openOffice将excel转换pdf时,将所有列显示在一页

1.接上文,格式转换的基础问题已解决,但还有些细节问题需要单独处理,如excel转换至pdf时,如何将所有列显示在一页的问题,此问题大家都有遇到,解决方案也比较多,我也尝试过重写某类,来…

Java基础面试题1

Java基础面试题 一、面向对象和集合专题 1. 面向对象和面向过程的区别 面向过程:是分析解决问题的步骤,然后用函数把这些步骤一步一步地实现,然后在使用的时候一一调用则可。性能较高,所以单片机、嵌入式开发等一般采用面向过程…

OPENCV C++(三)二值化灰度函数+调用摄像头+鼠标响应+肤色检测

RGB转灰度函数 cvtColor(image, gray, COLOR_BGR2GRAY); 图像 目标图像 rgb转灰度 大津法二值化函数 threshold(gray, result1, 84, 255, THRESH_OTSU); 灰度图,目标图,阈值,大于阈值的转换的像素值,方法为大津法 自适应二值…

Stable diffusion 三大基础脚本 提示词矩阵,载入提示词,XYZ图表讲解

目录 0.本章讲解 1.提示词矩阵(prompt matrix) 1.2.提示词矩阵功能选项 1.2.1.把可变部分放在提示词文本的开头 1.2.2.为每张图片使用不同随机种子 1.2.3.选择提示词 1.2.4.选择分割符 1.2.5.宫格图边框(像素) 2.从文本框或文件载入提示词(Pro…

【Android ndk内存泄露检测】

1、 google支持方式 (88条消息) Android native memory leak detect (Android native内存泄露检测)_良秋的专栏-CSDN博客_android native 内存泄露 封装 shell 脚本 | Android NDK | Android Developers (google.cn) GitHub - wangwangchen/malloc-debug: study of mall…

获取k8s scale资源对象的命令

kubectl get --raw /apis/<apiGroup>/<apiVersion>/namespaces/<namespaceName>/<resourceKind>/<resourceName>/scale 说明&#xff1a;scale资源对象用来水平扩展k8s资源对象的副本数&#xff0c;它是作为一种k8s资源对象的子资源存在&#xf…

STM32F103——基础篇

目录 1、寄存器基础知识 2、STM32F103系统架构 2.1 Cortex M3 内核&芯片 2.2 STM32F103系统架构 3、存储器映射 4、寄存器映射 4.1 寄存器描述解读 4.2 寄存器映射举例 4.3 寄存器地址计算 4.4 stm32f103xe.h 寄存器映射 1、寄存器基础知识 概念&#xff1a;寄存…

018-从零搭建微服务-系统服务(五)

写在最前 如果这个项目让你有所收获&#xff0c;记得 Star 关注哦&#xff0c;这对我是非常不错的鼓励与支持。 源码地址&#xff08;后端&#xff09;&#xff1a;https://gitee.com/csps/mingyue 源码地址&#xff08;前端&#xff09;&#xff1a;https://gitee.com/csps…

谈谈对Android音视频开发的探究

在日常生活中&#xff0c;视频类应用占据了我们越来越多的时间&#xff0c;各大公司也纷纷杀入这个战场&#xff0c;不管是抖音、快手等短视频类型&#xff0c;虎牙、斗鱼等直播类型&#xff0c;腾讯视频、爱奇艺、优酷等长视频类型&#xff0c;还是Vue、美拍等视频编辑美颜类型…