MLOps

MLOps 被称为「AI 的 DevOps」，目标是打通模型从实验到生产的完整闭环。

• 核心矛盾：数据科学家关注模型精度，工程师关注系统稳定性，MLOps 扮演两者之间的桥梁角色。
• 覆盖范围：数据版本管理 → 特征工程 → 训练流水线 → 模型评测 → 部署上线 → 线上监控 → 自动回滚。
• 与传统软件 DevOps 的本质差异：ML 系统的行为由「代码 + 数据 + 模型权重」三者共同决定，任何一个发生变化都可能导致线上效果退化。
• 业务价值：研究表明大多数 ML 项目的工程成本集中在部署后维护阶段，MLOps 能显著降低这部分持续成本。

MLOps 工程体系通常由以下几个关键模块构成。

• 数据版本控制 ：工具如 DVC（Data Version Control），追踪数据集变更，确保实验可重现。
  - 训练流水线编排 ： 工具如Kubeflow Pipelines 120、 Airflow、 Prefect，将数据预处理→训练→评估串联为自动化 DAG。
  - 实验追踪 ： 工具如MLflow、Weights & Biases 218，记录超参数、指标、模型 artifact，方便对比多次实验。
  - 模型注册中心（Model Registry）： 集中管理模型版本与元数据，支持「候选→生产→归档」状态流转。
  -持续交付（CD4ML）：将通过评测的模型自动推送到Canary或Shadow环境，逐步替换线上版本。
  - 线上监控 ： 检测数据漂移（Data Drift）、概念漂移（Concept Drift） 及推理延迟，触发告警或自动回滚。

Google 在其 MLOps 白皮书中将 MLOps 能力划分为三个成熟度等级。

• Level 0（手动）：数据科学家手动训练、手动导出模型、手动部署，无流水线自动化，适合低频更新的小型项目。
• Level 1（自动化训练）：训练流水线自动化，支持特征存储（Feature Store）和持续训练（CT），但部署仍需手动触发。
• Level 2（自动化 CI/CD）：代码变更或数据漂移自动触发完整的 CI/CD 流水线，含自动测试、自动部署、自动监控，是大规模生产 ML 系统的目标状态。

模型上线阶段有多种部署策略，需在风险与迭代速度之间权衡。

• 蓝绿部署（Blue-Green）：同时维护旧版（蓝）和新版（绿）服务，流量瞬间切换，回滚简单。
• 金丝雀发布（Canary）：先将少量流量（如 5%）路由到新模型，观察指标后逐步放量，降低风险。
• 影子模式（Shadow Mode）：新模型与生产模型同时接收请求，但新模型结果不对外暴露，仅用于离线对比评估。
• A/B 测试：将流量随机分配给两个模型版本，通过业务指标（点击率、转化率）决定保留哪个版本。
• 在线学习（Online Learning）：模型在生产环境中实时接受新数据持续更新，适合时效性要求高的场景如推荐系统。

MLOps 与相关工程实践之间存在明确的边界与互补关系。

• MLOps vs DevOps：DevOps 管理「代码」的持续交付；MLOps 额外管理「数据」和「模型权重」，产物不只是可执行程序，还包括二进制模型文件及其评测指标。
• MLOps vs DataOps：DataOps 专注数据管道的质量与交付速度，是 MLOps 的上游；MLOps 更关注模型训练与部署的自动化闭环。
• MLOps vs LLMOps：LLMOps 是 MLOps 在大语言模型场景下的特化版本，额外关注提示词版本管理、RAG 流水线、推理成本优化（如 KV Cache、量化）等大模型特有问题。
• MLOps vs AIOps：AIOps 是用 AI 来优化 IT 运维；MLOps 是用 DevOps 方法论来治理 AI 系统，两者方向相反，互不替代。

MLOps 在落地过程中存在常见的认知误区和实践陷阱。

• 误区：工具即 MLOps：采购 MLflow 或 Kubeflow 并不等于完成了 MLOps 建设，流程规范与团队文化同等重要。
• 陷阱：过度工程化：对于模型迭代频率低的小团队，Level 2 全自动流水线成本远超收益，应从 Level 0/1 起步逐步演进。
• 数据漂移被忽视：线上数据分布随业务变化悄悄偏移，模型精度指标看起来正常，但实际业务效果持续下滑。
• 训练-服务偏差（Training-Serving Skew）：训练时特征处理逻辑与线上推理时不一致，是生产 ML 系统最常见的 Bug 来源之一。
• 回滚能力缺失：新模型上线后出现问题，若没有完善的模型注册与版本管理，快速回滚到上一个稳定版本会非常困难。

MLOps 的形成是工业界大规模 ML 实践积累的结果。

• 2015：Google 工程师 Sculley 等人在 NeurIPS 发表《Hidden Technical Debt in Machine Learning Systems》，首次系统性指出 ML 系统的工程债务问题，成为 MLOps 理念的奠基文献。
• 2018—2019：「MLOps」一词在工程社区广泛流行，持续交付（CD4ML）等实践开始被系统化提出；MLflow 1.0 与 Kubeflow 1.0 相继发布，MLOps 工具链走向成熟。
• 2020：Google 发布 MLOps 白皮书，正式提出三级成熟度模型，成为行业参考标准。
• 2021—2022：Feature Store（Feast、Tecton）和模型监控（Evidently AI、Arize）赛道快速发展，MLOps 平台走向商业化。
• 2023 至今：生成式 AI 浪潮带来 LLMOps 概念，提示词工程版本管理、RAG 流水线治理、模型微调自动化成为新的前沿课题。