Oumi

开源训练 & 微调 › 对齐与 RLHF9.4k

端到端 LLM/VLM 训练平台，9.2K+ stars。支持 SFT/DPO/评估/部署全流程，兼容 Gemma、Qwen、DeepSeek-R1 等最新模型。提供简洁 API 和预置配方，大幅降低 LLM 微调门槛

🎯适用场景：大模型微调与训练

#LLM 训练#SFT#DPO#模型部署

📥 收录于 2026/5/21

访问工具 📖 官方文档

📊 仓库数据

Stars9,376

Forks784

语言Python

上线2024/5/8

更新2026/8/24

✅ 优点

•训练评估部署一站式
•兼容最新开源模型
•API 设计简洁
•预置训练配方

⚠️ 限制

•相对较新项目
•大规模训练仍需调优
•文档仍在完善中

🔗 相关工具

TRL

开源19k↑+22

github.com/huggingface/trl

Hugging Face 维护的 Transformer Reinforcement Learning 库，覆盖 SFT、DPO、PPO 等对齐训练流程，常用于 LLM 后训练实验。

🎯做大模型 SFT、DPO、PPO 或偏好对齐训练实验。

CleanRL

开源10k↑+11

github.com/vwxyzjn/cleanrl

高质量单文件深度强化学习算法实现，涵盖 PPO、DQN、SAC、TD3 等主流算法，代码简洁适合学习和研究对比

🎯强化学习算法学习、教学和新算法的研究对比基线

Miles

开源2.2k↑+1

github.com/radixark/miles

RadixArk 开源的 LLM/VLM 后训练强化学习框架，从 slime 分叉并共同演进。支持 SGLang 高吞吐 rollout + Megatron-LM/FSDP2 分布式训练，面向企业级大规模 RL 训练。72 位贡献者，1,300+ 提交，v0.1 已发布。

🎯大规模 LLM/VLM 后训练强化学习，特别是 Agentic 工作负载场景

#强化学习#后训练#分布式训练#LLM+1

Safe RLHF

开源1.6k↑+1

github.com/PKU-Alignment/safe-rlhf

PKU-Alignment 出品的安全强化学习人类反馈框架，1.6K+ stars。通过安全 RLHF 实现约束价值对齐，是 AI 安全对齐领域的前沿研究

🎯大模型安全对齐训练

#AI 安全#对齐#rlhf#safety+1

LLaMA Factory

开源74k↑+33

github.com/hiyouga/LLaMA-Factory

100+ 大模型高效微调工具，71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法，提供 WebUI 一键式微调界面，兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录

🎯大模型微调与训练

Axolotl

开源12k↑+14

github.com/axolotl-ai-cloud/axolotl

LLM 微调训练工具，12K+ stars。支持 LoRA/QLoRA/全参数微调、DPO/ORPO 等对齐方法，兼容 Llama、Mistral、Qwen 等主流模型。提供 YAML 配置驱动的训练流程，是 LLM 微调的事实标准工具之一

🎯大模型微调与训练

#LLM 微调#LoRA#DPO#训练工具