LLM 合成数据生成新方案:多阶段飞行中拒绝机制实现 Token 高效训练

合成数据的「止损」机制

2026 年 5 月,arXiv 发表论文 "Know When To Fold 'Em: Token-Efficient LLM Synthetic Data Generation via Multi-Stage In-Flight Rejection"。

核心创新

• 飞行中拒绝:在数据生成过程中实时判断质量,不合格的及时丢弃
• 多阶段:不是一次性判断,而是在多个阶段持续评估
• Token 效率:显著减少浪费在低质量数据上的计算资源

行业影响

1. 训练成本降低:合成数据是 LLM 后训练的核心数据源,效率提升直接降低成本
2. 质量保障:多阶段评估确保合成数据的整体质量
3. 可持续 AI:更高效的训练 = 更少的能源消耗

来源: arXiv
链接: https://arxiv.org/