大数据新范式：MLOps究竟是什么？

全文共1727字，预计学习时长5分钟

图源：Google

数字化将DataOps这一概念引入人们生活的同时，大数据正引入一种新的范式——MLOps。鉴于DevOps和DataOps在实践中越来越多的运用，该项业务需要机器学习模型使用过程中的所有参与者一直保持合作与互动，包括业务人员、工程师、大数据开发人员（数据科学家和机器学习专家）。

MLOps还是一个比较新的概念，但人们对它的需求却在与日俱增。2018年左右，在谷歌举办的一场演讲之后，业内专业人士首次公开谈及工业运行（生产）中机器学习生命周期集成化管理的必要性。

将机器学习模型引入实际业务这一实践，并不局限于数据准备、开发、神经网络或其他机器学习算法的训练方面。从验证数据集，再到可靠的大数据生产环境下测试和部署数据集，产品解决方案的质量受到诸多因素的影响。

这意味着，预测或分类的实际结果不仅取决于数据科学家提出的神经网络架构和机器学习方法，还取决于开发团队如何实现这一模型，以及管理员如何在集群环境中部署这一模型。输入数据的质量，接收数据的来源、渠道和频率也很重要，这都属于数据工程师的职责范围。

在机器学习解决方案的开发、测试、部署和支持过程中，多学科专家在互动中会遇到许多组织难题和技术障碍，这不仅延长了产品创建的时间，还降低了产品带给该项业务的实际价值。

为了消除这些障碍，MLOps这一概念应运而生。与DevOps和DataOps类似，MLOps旨在提高自动化程度和工业机器学习解决方案的质量，同时兼顾监管需求和业务利益。

因此，MLOps是结合系统开发和运营支持（包括集成、测试、发布、部署、基础设施管理等操作），以实现机器学习系统生命周期复合化和自动化管理的文化理念和应用实例。

可以说，MLOps借助敏捷的方法和技术工具扩展了CRISP-DM方法论（CRISP-DM跨行业数据挖掘标准流程），从而可以自动执行包括数据、机器学习模型、代码和环境在内的操作。

这些工具中包括了Cloudera公司的数据科学工作台——ClouderaData Science Workbench，将MLOps付诸实践有助于数据科学家在CRISP-DM经典阶段规避常见陷阱和问题。

MLOps带给业务和数据科学的十大好处

实施MLOps带来的所有好处中，最为突出的是机器学习工业部署细节中的敏捷方法：

· 通过可靠且有效的机器学习生命周期管理，减少时间，从而得到高质量结果。

· 持续开发（CD）、持续集成（CI）、持续训练（CT）方法和工具保障了工作流程和模型的可重复性。

· 随时随地轻松部署高精度机器学习模型。

· 集成管理系统可连续监测机器学习资源。

· 消除组织障碍，汇聚多学科机器学习专家的经验。

因此，使用MLOps可以优化以下机器学习操作：

· 统一机器学习模型和关联软件产品的发布周期。

· 自动测试机器学习组件，如数据验证、测试机器学习模型本身、及其集成到产品解决方案的过程。

· 在机器学习项目中践行敏捷原则。

· 在CI、CD、CT系统中支持机器学习模型和数据集。

· 使用机器学习模型减轻技术债。

图源：Google

值得注意的是，MLOps的实践应该与语言、框架、平台和基础设施无关。从技术角度来看，MLOps系统的总体架构应包括收集和聚合大数据平台，为机器学习建模分析和准备数据的应用程序，执行计算和分析的工具，以及自动移动机器学习模型及其生命周期中关联数据、软件产品的工具。

如此以来，数据科学家、数据工程师、机器学习专家、大数据解决方案的架构师和开发人员、以及使用统一高效管道的DevOps工程师的工作任务有望实现部分或完全自动化。

留言点赞关注

我们一起分享AI学习与发展的干货

如转载，请后台留言，遵守转载规范