Fast-Slow Training：LLM 学习方式的革新
2026 年 5 月，UC Berkeley、Matei Zaharia 团队发表了 Fast-Slow Training (FST) 框架。
核心理念
- 慢速学习（Slow Weights）：模型参数保持通用推理能力
- 快速学习（Fast Weights）：优化的上下文吸收特定任务信息
- 人类类比：类似人类的双系统学习（System 1 快思考 + System 2 慢思考）
关键成果
- 样本效率比纯慢速 RL 提升高达 3 倍
- KL 散度降低 70%，大幅减少灾难性遗忘
- 在持续学习场景中能有效获取每个新任务
行业意义
FST 为 LLM 的持续学习和任务适应提供了一种更接近人类学习方式的新范式，对于需要频繁切换任务场景的企业应用尤为重要。
来源： arXiv
链接： https://arxiv.org/abs/2605.12484v1