CleanRL
高质量单文件深度强化学习算法实现，涵盖 PPO、DQN、SAC、TD3 等主流算法，代码简洁适合学习和研究对比
🎯适用场景：强化学习算法学习、教学和新算法的研究对比基线
📥 收录于 2026/6/6
📊 仓库数据
✅ 优点
- •单文件实现极易理解和修改
- •覆盖主流 RL 算法
- •集成 WandB 实验追踪
⚠️ 限制
- •非生产级框架，大规模应用需自行扩展
- •缺少分布式训练支持
🔗 相关工具
OpenRLHF
github.com/OpenRLHF/OpenRLHF
可扩展的 Agentic RL 训练框架，9.6K+ stars。基于 Ray 构建，支持 PPO/DAPO/REINFORCE++ 等算法，集成 vLLM 加速推理
🎯LLM 对齐训练（RLHF/DPO）、Agent 强化学习
ART
github.com/OpenPipe/ART
OpenPipe 开源的 Agent 强化学习训练框架，基于 GRPO 算法对多步 Agent 进行实战训练，支持 Qwen3.6、GPT-OSS、Llama 等主流模型
🎯对 AI Agent 进行强化学习微调，提升复杂任务的执行成功率
LLaMA Factory
github.com/hiyouga/LLaMA-Factory
100+ 大模型高效微调工具，71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法，提供 WebUI 一键式微调界面，兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录
🎯大模型微调与训练
Unsloth
github.com/unslothai/unsloth
LLM 微调 Web UI 和优化工具，62,269+ stars。提供 2 倍训练速度、70% 显存占用的 LLM 微调方案，支持 Llama、Mistral、Qwen 等主流模型的 LoRA/QLoRA 微调
🎯大模型微调与训练
Keras
github.com/keras-team/keras
深度学习框架，64,020+ stars。高级神经网络 API，支持 TensorFlow、JAX、PyTorch 多后端。以用户友好著称，让深度学习从实验到生产的转化变得简单高效
🎯大模型微调与训练
nanoChat
github.com/karpathy/nanochat
Karpathy 用 100 美元能买到的最佳 ChatGPT 体验，从数据到训练到推理的完整实现
🎯大模型微调与训练