什么是 MLOps?
· 3 min read
DevOps, DataOps 和 MLOps
术语
- MLOps - DevOps 式自动化方法与 ML 最佳实践的结合，侧重于将 ML 模型部署到生产系统中并进行操作。
- DevOps- 协作文化和开发人员自动化操作，以持续改进部署并减少业务部门之间的摩擦。包括 CI/CD 等自动化工具和原则。
- CI/CD- 持续集成和持续交付 - DevOps 工作流程中的关键实践。CI 包括定期自动测试和验证增量构建的软件，而 CD 则侧重于自动向生产等环境发布更新。
- 成熟度模型 - MLOps 中的概念，定义了 MLOps 复杂性和有效性的递增级别，通常为 4-5 级，从手动、孤立、不可靠到可扩展、自主和弹性系统。
- 数据运维- 具体侧重于使用 DevOps 概念和自动化原则来管理数据工作负载，如聚合、转换、存储、分析等。
- 特征存储- 用于管理、存储和提供 ML 特征的中央存储库，以便构建模型和进行再培训。优化数据管道和重用。
什么是 MLOps?
MLOps 背景
- MLOps 的核心来自日本汽车行业的改善。
- DevOps 是在软件行业做相关的事情，基础设施代码，自动化测试，CI，持续部署。能够应对新部署而不必改变。
MLOps: 25% DevOps, 25% DataOps 自动化，25% 建模，25%制定和查看业务需求。
相关证书
- AWS Machine Learning Specialty
- AWS Data Analytics
- AWS Solutions Architect
- Snowflake
- Databricks
- MlRun
- Kubernetes Certificated Application Developer
- Google Cloud Certified Machine Learning Engineer
趋势
NFSOps
Kubernetes and Kubeflow
Edge ML
ESG: 面对气候问题
Pre-trained models and AutoML
You don't need to built it to use it!
Model Portability
Kaizen ML
将机器学习推向生产所必须的每件事情必须实现自动化。
什么是 DevOps？
软件工程最佳实践、组织文化，自动化结合+反馈循环。
Kaizen: 持续改进, 持续改进, 持续改进。
什么是 DataOps？
专注在 Data 领域的 DevOps 工作。
轻型 MLOps 系统与重型 MLOps 系统
- 轻型系统以模型为中心
- 重型系统以数据为中心
MlOps Hierarchy of Needs
Data Poisoning
