在人工智能机器学习里，MLOps是什么意思？

MLOps是什么？

2020年底，马化腾说：“技术正在全链条地重塑产业生态的每一个环节，从生产制造到物流营销。对于新的技术趋势的理解需要跨部门、跨公司、跨领域的协作，环环相扣，步步衔接。这是一个共同进化的过程，如同生物进化一样。”

“ModelOps” 即机器学习模型运营化（model operationalization），也可以理解为，机器学习操作，用于机器学习的 DevOps ，使数据科学家和 IT 团队能够通过监控、验证和管理机器学习模型，来进行协作并提高模型开发和部署的速度。

包含将机器学习生命周期移入生产环境所涉及的各种理念、实践和技术。 它仍是一个相对较新的概念。 有很多定义要尝试解决问题 “什么是机器学习模型运营化（MLOps） ？”

许多人都想知道，机器学习模型运营化（MLOps） 是否可以涵盖数据科学家如何准备数据的整个空间，以帮助他们最终提供、监控和评估机器学习结果。

尽管 DevOps 多年来稳定并包含一组基本做法，但 机器学习模型运营化（MLOps） 仍在其存在的初期。

由于机器学习模型运营化（MLOps）的概念很成熟，我们经常会发现，将两个学科一起用于不同的技能集和优先级，这两个学科常常会出现问题：软件/Ops 工程和数据科学。

MLOps 进程将为升级系统提供一个框架，用于解决机器学习模型的整个生命周期。

此框架包括开发、测试、部署和监控，可满足部署的机器学习系统的经典 CI/CD 处理和操作需求。

Gartner将ModelOps描述为：

专注于人工智能和决策模型的治理和全生命周期管理，同时支持AI模型的再调整、再训练或重建——在基于人工智能的系统中提供模型开发、操作和维护之间的不间断工作流。机器学习运营化 (MLOps) 基于可提高工作流效率的 Development（开发）和Operations（运维）原理和做法。 例如持续集成、持续交付和持续部署。

机器学习运营化 (MLOps）将这些原理应用到机器学习过程中，其目标是：

第一、更快地试验和开发模型。

第二、更快地将模型部署到生产环境。

第三、质量保证。

训练模型指的是——通过许多强大的工具帮助数据科学团队训练、调优、识别和推广某些特定场景的适用模型。

然后，真正困难的部分，把模型交给开发团队来变成一个AI驱动的工具或应用程序。这就是机器学习模型运营化（MLOps）的部分。

以微软云计算为例：

机器学习管道的作用是什么？

Azure 机器学习管道是整个机器学习任务的可独立执行的工作流。 子任务封装为管道中的一系列步骤。 Azure 机器学习管道可以像调用 Python 脚本一样简单，因此几乎可以执行任何操作。 管道应专注于机器学习任务，例如：

• 数据准备，包括导入、验证、清理、修整、转换、规范化和暂存
• 训练配置，包括参数化自变量、文件路径和日志记录/报告配置
• 反复有效地进行训练和验证。 可以通过指定特定的数据子集、不同的硬件计算资源、分布式处理和监控进度来提高有效性
• 部署，包括版本控制、缩放、预配和访问控制

由于各个步骤相互独立，因此多个数据科学家可以同时处理同一个管道，且不会过度占用计算资源。 由于各个步骤相互分离，因此可以轻松地针对每个步骤使用不同的计算类型/大小。

Azure 机器学习提供以下机器学习模型运营化（MLOps） 功能：

第一、机器学习管道可以包含从数据准备、到特征提取、到超参数优化、再到模型评估的所有步骤。

第二、创建可复用的机器学习管道。 使用机器学习管道可为数据准备、训练和评分过程定义可重复且可重用的步骤。

第三、创建可复用的软件环境用于训练和部署模型。

第四、从任意位置注册、打包和部署模型。 还可以跟踪使用模型时所需的关联元数据。

第五、端到端机器学习生命周期的监管数据。 记录的信息可以包括模型的发布者、做出更改的原因，以及在生产环境中部署或使用模型的时间。

针对机器学习生命周期中的事件发出通知和警报。 例如，试验完成、模型注册、模型部署和数据偏移检测。

监督机器学习应用程序中的操作和机器学习相关问题。 比较训练与推理之间的模型输入，浏览特定于模型的指标，以及针对 机器学习基础结构提供监督和警报。

使用 Azure 机器学习和 Azure Pipelines 自动化端到端机器学习生命周期。 使用管道可以频繁更新模型、测试新模型，并连同其他应用程序和服务持续推出新的 ML 模型。

总之，规模化机器学习非常需要机器学习模型运营化（MLOps）。对于做此生意的厂商，AI模型训练可能是个小生意，但是模型推理，模型的生产化这个可能是个大生意。

（完）

《亲爱的数据》出品