Axolotl
LLM 微调训练工具，12K+ stars。支持 LoRA/QLoRA/全参数微调、DPO/ORPO 等对齐方法，兼容 Llama、Mistral、Qwen 等主流模型。提供 YAML 配置驱动的训练流程，是 LLM 微调的事实标准工具之一
🎯适用场景：大模型微调与训练
📊 仓库数据
✅ 优点
- •YAML 配置驱动训练
- •支持多种对齐方法
- •主流模型全覆盖
- •社区活跃教程丰富
⚠️ 限制
- •多 GPU 训练配置复杂
- •大模型微调需要大量显存
- •训练时间长
🔗 相关工具
LLaMA Factory
开源⭐ 72k↑+2github.com/hiyouga/LLaMA-Factory
100+ 大模型高效微调工具，71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法，提供 WebUI 一键式微调界面，兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录
🎯 大模型微调与训练
Unsloth
开源⭐ 65k↑+15github.com/unslothai/unsloth
LLM 微调 Web UI 和优化工具，62,269+ stars。提供 2 倍训练速度、70% 显存占用的 LLM 微调方案，支持 Llama、Mistral、Qwen 等主流模型的 LoRA/QLoRA 微调
🎯 大模型微调与训练
PEFT
开源⭐ 21k↑+2github.com/huggingface/peft
Hugging Face 出品的参数高效微调（PEFT）库，21.1K+ stars。支持 LoRA、Adapter 等多种参数高效微调方法，大幅降低大模型微调的显存和计算需求。与 Transformers 深度集成，是 LLM 微调的标准工具
🎯 大模型微调与训练
Easy Dataset
开源⭐ 14kgithub.com/ConardLi/easy-dataset
强大的 LLM 微调数据集创建工具，14K+ stars。支持 RAG 和评测数据集的生成，是模型微调数据准备的效率工具
🎯 LLM 微调数据准备、RAG 数据集生成、模型评测数据构建
ModelScope SWIFT
开源⭐ 14k↑+1github.com/modelscope/ms-swift
魔搭社区出品的大模型微调框架，支持 600+ LLM 和 300+ MLLM 的全量/LoRA/DPO/GRPO 微调。覆盖 Qwen3.6、DeepSeek-R1、GLM-5.1、Llama4 等主流模型，提供 WebUI 和 CLI 双接口。14K+ stars，是中国生态最全面的微调工具
🎯 大模型微调与训练
Oumi
开源⭐ 9.2k↑+2github.com/oumi-ai/oumi
端到端 LLM/VLM 训练平台，9.2K+ stars。支持 SFT/DPO/评估/部署全流程，兼容 Gemma、Qwen、DeepSeek-R1 等最新模型。提供简洁 API 和预置配方，大幅降低 LLM 微调门槛
🎯 大模型微调与训练