GPU 集群

GPU 集群是将多个配备 GPU 的计算节点通过高速互联网络组织起来、协同完成大规模并行计算任务的分布式硬件系统，是当前训练大语言模型和深度学习模型的核心算力基础设施。集群的实际训练效率高度依赖互联带宽与并行策略的匹配程度，而非单纯叠加 GPU 数量。

单张 GPU 的显存与算力存在物理上限，训练百亿至千亿参数规模的大模型必须将计算分布到多张卡乃至多台机器上。

• 节点（Node）：每个节点通常配备 4–8 块 GPU，节点内 GPU 通过 NVLink 高速直连，带宽远超 PCIe
• 集群规模：从数十块 GPU 的实验集群，到万卡以上的超级计算集群（如训练 GPT-4、Llama 3 所用规模），量级差异极大
• 同构 vs. 异构：AI 训练集群通常为同构设计（相同型号 GPU），以降低调度与通信复杂度
• 关键指标：集群总算力（PFLOPs）、节点内带宽、跨节点带宽、以及 MFU（Model FLOPs Utilization，模型算力实际利用率）
• 主流硬件：NVIDIA A100、H100、H200 是当前主流训练 GPU，AMD MI300X 也在部分场景被采用

大模型训练依赖三种正交的并行维度组合，通称「3D 并行」，由 Megatron-LM（2021）系统化提出并验证。

• 数据并行（Data Parallelism）：每张卡保存完整模型副本，处理不同数据批次，反向传播后通过 All-Reduce 同步梯度；实现最简单，是最基础的并行方式
• 张量并行（Tensor Parallelism）：将单层权重矩阵切分到多 GPU 并发计算，通信密集，适合节点内（NVLink 带宽充裕）使用
• 流水线并行（Pipeline Parallelism）：将模型不同层分配到不同设备，跨节点通信量少，适合跨节点扩展，但需避免设备空闲的「气泡（bubble）」
• ZeRO 优化器分片：DeepSpeed 的 ZeRO（Zero Redundancy Optimizer）将优化器状态、梯度、参数三级分片存储，大幅降低单卡显存占用
• 序列并行：对输入序列维度切分，用于超长上下文场景，是对张量并行的进一步补充

通信带宽是集群扩展的首要瓶颈，互联技术的选型直接决定训练效率上限。

• NVLink：NVIDIA 专有 GPU 间直连总线，H100 NVLink 4.0 提供约 900 GB/s 双向总带宽，远高于 PCIe 4.0 的 32 GB/s
• NVSwitch：允许同一机柜内所有 GPU 全互联，避免 PCIe 瓶颈，是 DGX 服务器的关键组件
• InfiniBand（IB）：跨节点主流方案，HDR 规格 200 Gb/s/端口，NDR 规格 400 Gb/s/端口，延迟极低
• RoCE（RDMA over Converged Ethernet）：以太网上实现 RDMA，成本低于 InfiniBand，但对网络配置和流控要求更高
• 网络拓扑：大规模集群多采用无阻塞胖树（fat-tree） 拓扑，保证任意节点对之间的等价带宽

分布式训练框架封装底层通信细节，使研究者聚焦模型本身。

• Megatron-LM（NVIDIA，2019 年发布，持续迭代）：专为 Transformer 大模型设计，系统化整合张量并行与流水线并行，是训练 GPT 系列的核心框架
• DeepSpeed（Microsoft）：ZeRO 系列优化器将显存占用降低至近 1/N，并提供流水线并行和推理优化支持
• Horovod（Uber，2018 年）：将 All-Reduce 数据并行普及化，接口简洁，易于集成到现有代码
• PyTorch FSDP（Fully Sharded Data Parallel）：PyTorch 官方分片数据并行实现，功能接近 ZeRO-3，目前社区使用最广泛
• NCCL / RCCL：NVIDIA/AMD 提供的集合通信库，实现 All-Reduce、All-Gather、Reduce-Scatter 等分布式原语

「GPU 越多训练越快」是最常见的误解；实际上通信开销往往抵消扩展收益。

• MFU 普遍偏低：大规模集群实际算力利用率（MFU）通常仅为理论峰值的 30%–50%，通信等待、负载不均和慢节点（straggler）是主因
• 并行策略错配代价高：在跨节点低带宽链路上使用张量并行会使通信成为严重瓶颈，远不如减少并行度或换用流水线并行
• 故障是常态：千卡以上训练任务中硬件故障频率远高于单机，需要完善的 checkpoint 机制和自动恢复流程
• Amdahl 定律制约：不可并行的串行部分（如梯度同步屏障）随规模增大成为越来越显著的瓶颈
• 存储 I/O 瓶颈：大规模多模态训练中，数据读取速度可能跟不上 GPU 计算速度，需要高性能并行文件系统

GPU 集群的规模与技术复杂度随大模型时代到来急剧增长。

• 2012：AlexNet 使用双 GPU 赢得 ImageNet，开启深度学习 GPU 化时代
• 2018：Horovod（Uber）将 All-Reduce 数据并行推广，多机训练门槛大幅降低
• 2019：NVIDIA 发布 Megatron-LM，系统化提出张量并行用于 Transformer 训练（arXiv:1909.08053）
• 2020：DeepSpeed 发布 ZeRO 优化器，千亿参数模型训练成为现实
• 2021：3D 并行（张量+流水线+数据）结合，支撑万亿参数模型实验（Megatron-LM + DeepSpeed 合作）
• 2022–2023：GPT-4、Llama 2 等模型训练所用集群规模达数千至数万张 A100/H100，万卡集群运维成为顶尖 AI 机构的核心能力
• 2024 至今：NVIDIA GB200 NVL72 机柜级方案、定制化 AI 超算兴起，互联带宽与并行框架协同优化持续演进

GPU 集群服务于从预训练到大规模推理的全链路 AI 计算需求。

• 大模型预训练：LLM 预训练需连续运行数周乃至数月，是 GPU 集群最核心的使用场景
• 后训练对齐：SFT、RLHF、DPO 等阶段规模小于预训练，但同样依赖多卡并行
• 多模态模型训练：视觉-语言模型（VLM）和文生视频模型（如 Sora）对显存和算力需求极高
• 大规模推理服务：通过张量并行降低单请求延迟，或通过数据并行提升整体吞吐，支撑高并发 API 服务
• 科学计算：气候模拟、药物分子动力学等传统 HPC 场景也大量采用 GPU 集群