核心要点
按模型规模选硬件：树模型/小 MLP 用 CPU，CNN/Transformer 用 GPU，超大 LLM 需多卡互联
大数据训练瓶颈常在 I/O 而非算力，本地 NVMe + prefetch 防 GPU 饿死
时间换成本：紧急用满配 on-demand，探索用 Spot 但要 checkpoint 容错中断
简要回答
关键考量维度：
1. 模型与算法
- 小模型（XGBoost、小 MLP）：CPU 多核 + 足够 RAM
- CNN/Transformer 训练：GPU（CUDA）
- 超大 LLM：多 GPU + NVLink/InfiniBand，张量/流水线并行
2. 显存（VRAM）
- 估算：参数 + 梯度 + 优化器状态 + 激活（与 batch 成正比）
- 7B FP16 训练约需 60GB+；用 gradient checkpointing、ZeRO、LoRA 降需求
3. 数据 I/O
- 大数据训练瓶颈常在存储：本地 NVMe > 网络 S3（需 prefetch/cache）
- 分布式需高带宽防 GPU 饿死
4. 时间 vs 成本
- 紧急项目：多卡 A100 满配
标准回答
关键考量维度：
1. 模型与算法
- 小模型（XGBoost、小 MLP）：CPU 多核 + 足够 RAM
- CNN/Transformer 训练：GPU（CUDA）
- 超大 LLM：多 GPU + NVLink/InfiniBand，张量/流水线并行
2. 显存（VRAM）
- 估算：参数 + 梯度 + 优化器状态 + 激活（与 batch 成正比）
- 7B FP16 训练约需 60GB+；用 gradient checkpointing、ZeRO、LoRA 降需求
3. 数据 I/O
- 大数据训练瓶颈常在存储：本地 NVMe > 网络 S3（需 prefetch/cache）
- 分布式需高带宽防 GPU 饿死
4. 时间 vs 成本
- 紧急项目：多卡 A100 满配；研究探索：Spot V100 可接受中断
5. 精度与硬件
- BF16 需 Ampere+；INT8 训练少见，推理常用
6. 软件生态
- PyTorch CUDA 版本与驱动匹配；TPU 需 JAX/XLA 栈
7. 合规与位置
- 数据不出区域选对应 region；敏感数据禁公有云则 on-prem
决策流程：估算 FLOPs/显存 → 定 SLA → 比价 cloud instance → PoC benchmark。详见 MLOps 入门、GPU 与训练。
常见误区
⚠️ 常见踩坑
无脑上最大 GPU；忽视数据 I/O；不算显存直接 OOM；全球数据却选错 region 合规。
追问
追问 1：如何估算训练需要多少显存？
把显存拆成几块相加：模型参数、梯度、优化器状态（Adam 约为参数的 2 倍）、激活（与 batch size 和序列长度成正比）。混合精度训练下，FP16 参数+梯度约各 2 字节/参，优化器常用 FP32。激活最难估，可经验留 buffer 或实测。降需求用 gradient checkpointing、ZeRO、LoRA。
追问 2：多卡训练选什么互联？
单机多卡优先 NVLink/NVSwitch，带宽远高于 PCIe；跨节点用 InfiniBand 或高速 RoCE，配 NCCL 做集合通信。互联是通信密集型并行（张量并行）的瓶颈，带宽不足会让 GPU 卡在通信上；数据并行对带宽相对不敏感，可放宽要求。
追问 3：Spot 实例训练如何容错？
频繁写 checkpoint 到持久存储，被回收后从最近 checkpoint 续训；监听抢占通知（约提前几十秒）触发紧急保存；用弹性训练框架容忍节点数变化；混合用少量 on-demand 兜底关键副本。代价是 checkpoint I/O 开销，需平衡频率。
延伸学习
与本题相关的知识库文章、术语、工具与行业资讯。
📰 AI 资讯
🛠️ AI 工具