数据并行、张量并行与流水线并行有什么区别？

数据并行（Data Parallel）

每张卡保存完整模型副本，各自处理不同数据切片；反向传播后通过 AllReduce 汇总并平均梯度，保持参数一致。实现简单、扩展性好，但每卡都要装下整个模型，无法解决单模型放不下的问题。

张量并行（Tensor Parallel）

把单层内的大权重矩阵按行或列切分到多卡，各卡算一部分再拼接，属于层内并行。通信发生在每层前向/反向中，频繁且对带宽敏感，通常限制在单机多卡的 NVLink 域内。

流水线并行（Pipeline Parallel）

把模型按层划分成多个 stage 分布到不同卡，数据像流水线一样逐 stage 流动。为减少首尾的空泡（bubble），把 batch 拆成多个 micro-batch 交错执行。

组合使用

超大模型常用 3D 并行：张量并行解决单层放不下，流水线并行解决整模型放不下，数据并行提升吞吐，再配合 ZeRO（DeepSpeed）切分优化器状态、梯度与参数进一步省显存。