Miles

Hugging Face 维护的 Transformer Reinforcement Learning 库，覆盖 SFT、DPO、PPO 等对齐训练流程，常用于 LLM 后训练实验。

🎯做大模型 SFT、DPO、PPO 或偏好对齐训练实验。

高质量单文件深度强化学习算法实现，涵盖 PPO、DQN、SAC、TD3 等主流算法，代码简洁适合学习和研究对比

🎯强化学习算法学习、教学和新算法的研究对比基线

端到端 LLM/VLM 训练平台，9.2K+ stars。支持 SFT/DPO/评估/部署全流程，兼容 Gemma、Qwen、DeepSeek-R1 等最新模型。提供简洁 API 和预置配方，大幅降低 LLM 微调门槛

🎯大模型微调与训练

PKU-Alignment 出品的安全强化学习人类反馈框架，1.6K+ stars。通过安全 RLHF 实现约束价值对齐，是 AI 安全对齐领域的前沿研究

🎯大模型安全对齐训练

100+ 大模型高效微调工具，71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法，提供 WebUI 一键式微调界面，兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录

🎯大模型微调与训练

LLM 强化学习开源框架，致力于降低强化学习应用于大语言模型的门槛，支持分布式训练、编码 Agent、搜索 Agent 等多种场景，是 verl 生态的重要组成部分。

🎯LLM强化学习与奖励模型训练，适合研究型团队探索Agent自主学习能力