当 ML 遇到 DevOps：如何理解 MLOps

近年来，人工智能（AI）和机器学习（ML）已经席卷全球，几乎成为任何行业的重要组成部分，从零售和娱乐到医疗保健和银行业。这些技术能够通过分析大量数据实现运营自动化、降低成本和促进决策，从而从根本上改变企业。最近，AI 和 ML 项目的数量急剧增加，这给有效的 ML 项目管理带来了困难。这就是 MLOps 进入科技行业中心舞台的方式。

什么是 MLOps？

MLOps，即机器学习操作，是一种优化 ML 生命周期的方法，以加速 AI 驱动的应用程序的创建。它遵循类似 DevOps 的技术，用于在 ML 领域进行快速可靠的软件开发。MLOps 与 DevOps 一样，可以促进协作思维，使数据科学家、软件工程师和数据专家之间能够持续沟通。它涵盖了 ML 过程的所有方面，从数据收集和模型创建到最终部署和持续的项目增强。

人工智能和机器学习到底是什么？

尽管它们关系密切，但 AI 和 ML 是两个不同的概念，不应混淆。人工智能是一个总称，涵盖了使计算机系统模仿人类智能的各种方法和技术。反过来，ML是AI的一个子领域，它允许计算机自动从结构化数据中学习。它专注于使用大型数据集训练算法，以创建复杂的 ML 模型，这些模型能够执行复杂的任务，例如分析大数据、对图像进行排序和生成类似人类的语音。

ML 生命周期包括哪些内容？

几乎所有的ML项目在其周期性生命周期中都会经历以下阶段：

数据采集： 创建高质量的数据集是 ML 生命周期的重要组成部分，其中包括收集文本、图像、声音或视频等数据。
数据准备和整理：随机化，将数据组织到数据集中，删除错误和重复项，并将其转换为可用的格式。
模型开发：选择有效的模型架构，创建模型，在数据集上训练模型，对其进行调整和评估。
模型部署：将经过训练的机器学习模型引入现实生活中的系统，并确定它是否使用可用数据提高其性能。
监测：观察系统，通过早期检测和纠正来确保和保持所需的性能水平。

MLOps 如何改进 ML 生命周期？

MLOps 采用 DevOps 技术来创建最佳的标准化 ML 方法。在 ML 过程的所有阶段，它都严重依赖于以下实践：

版本控制： 它广泛用于软件工程，涉及跟踪、存储和管理随时间推移对代码所做的更改。在 ML 中，它更进一步，专注于关键的 ML 组件（数据和模型），以确保可追溯性、可重复性、回滚、调试和协作。数据版本控制对于模型开发至关重要，而模型版本控制在模型的整个生命周期中都是必不可少的。
持续集成和持续部署（CI/CD）：这些实践围绕着审查、重新评估和识别 ML 模型问题的持续过程展开，这允许在收到新数据时更改模型。CI/CD 还可以自动执行 ML 管道的各个部分，例如开发、构建和测试阶段。
监控和日志记录：ML 模型监控负责持续跟踪已部署模型在生产中的性能，提供关键反馈，并确保模型准确预测并随着时间的推移提供价值。日志记录创建应用程序事件的记录，可用于识别在模型开发的任何阶段发生的性能问题的根源。
模型治理和合规性： 这些做法旨在降低与模型性能不佳相关的风险，这可能导致各种问题，从糟糕的决策和糟糕的客户体验到违反国家和国际法律法规。例如，许多企业必须遵守许多国家/地区严格的个人数据安全法规。
基础架构和可扩展性：构建、训练和运行 ML 模型所需的资源、工具和流程的组合称为 ML 基础设施。它通过协助数据科学家和工程团队管理和操作各种资源，以及简化训练和部署流程，确保 ML 工作流程的每个阶段的成功实施。ML 可扩展性是指 ML 应用程序处理任何数量数据的能力，同时在为数百万用户提供服务的同时保持成本效益和节省时间。
自动化测试： 通过自动化单元和集成测试，MLOps 从业者可以产生长期影响。自动化加速了单元测试，单元测试基于将代码划分为多个块并单独测试每个块的概念。它还改进了集成测试，用于查看组件如何相互交互。其主要目标是确保组合单元相互交互，并且系统符合所有模型标准。