离线批量推理如何高效跑大规模请求？

目标定位

离线批量推理（如批量打标、数据清洗、评测生成）以吞吐优先、延迟不敏感，因此设计取舍与在线服务相反：尽量把 GPU 喂满。

核心优化

• 大 batch + Continuous Batching：请求一旦完成立即换入新请求，而非等整批结束，消除静态批处理的尾部等待空泡，vLLM 等引擎原生支持。
• 长度排序聚批：把长度相近的样本放到同一批，减少 padding 导致的算力浪费；对输出长度差异大的任务尤为重要。
• 多副本并行：用多 GPU/多进程做数据并行，线性扩展总吞吐。

工程稳健性

大规模任务跑时长，需记录已完成 id、定期写检查点，支持断点续跑；失败请求单独重试，避免整批重算。