如何设计可扩展的机器学习基础设施？

可扩展 ML 基础设施需分层：数据湖/特征平台 → 分布式训练调度 → 模型注册与服务网格 → 监控与自动回滚，并贯穿版本化与 MLOps 流水线。

一、先给出结论和背景

• 系统设计框架：（面试按层作答）：
• 数据层：- 数据湖/仓（S3 + Delta/Iceberg）+ DVC 版本化
• 流批一体摄入（Kafka + Spark/Flink）
• 特征平台：离线训练特征与在线 serving 特征一致
• 训练层：- 作业队列（K8s + Volcano/Slurm）+ GPU 池化与抢占
• 分布式训练：数据并行 / 张量并行（大模型）
• 实验跟踪：超参、指标、artifact 可追溯

二、拆开关键步骤和判断点

• 模型层：- 模型注册表（版本、阶段：Staging/Production）
• 自动化评估门禁（离线 A/B、shadow traffic）
• 服务层：- 容器化推理（K8s HPA、多副本）
• 批/流/在线多模式 serving
• 金丝雀发布与自动回滚

三、补上落地边界和取舍

• 观测层：- 数据漂移、模型性能、延迟/成本 可观测性
• 审计日志与合规
• 权衡：先澄清 QPS、模型大小、延迟 SLA、预算。详见 MLOps 入门、AI 工程。

面试里要把 设计可扩展的机器学习基础设施 放到训练到上线的链路里说：离线指标只是第一步，还要补特征一致性、版本管理、灰度实验、监控漂移和回滚方案。这样能证明你理解的是生产系统，而不是只会背流程图。

延伸阅读：MLOps 入门、AI 工程基础设施、可扩展 ML 设计。术语：MLOps、Checkpoint、可观测性。