LLaMA Factory
100+ 大模型高效微调工具，71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法，提供 WebUI 一键式微调界面，兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录
🎯适用场景：大模型微调与训练
📊 仓库数据
📈 Stars 变化 ↑6 小时 +24· 统计区间 6/28 18:12 → 6/29 00:15（6 小时）
✅ 优点
- •WebUI 一键微调
- •支持 100+ 模型
- •10+ 种微调方法
- •ACL 2024 论文收录
⚠️ 限制
- •大模型需要多 GPU
- •WebUI 功能有限
- •部分高级功能需 CLI
🔗 相关工具
LlamaFactory
github.com/hiyouga/LlamaFactory
统一高效微调 100+ 大模型，71K+ stars。支持 100+ LLM 和 VLM 的高效微调框架（ACL 2024 论文收录）
🎯大模型微调与训练
Unsloth
github.com/unslothai/unsloth
LLM 微调 Web UI 和优化工具，62,269+ stars。提供 2 倍训练速度、70% 显存占用的 LLM 微调方案，支持 Llama、Mistral、Qwen 等主流模型的 LoRA/QLoRA 微调
🎯大模型微调与训练
nanoChat
github.com/karpathy/nanochat
Karpathy 用 100 美元能买到的最佳 ChatGPT 体验，从数据到训练到推理的完整实现
🎯大模型微调与训练
llm.c
github.com/karpathy/llm.c
Karpathy 用纯 C 和 CUDA 实现的 LLM 训练项目，摆脱 Python 依赖，追求极致性能
🎯大模型微调与训练
PEFT
github.com/huggingface/peft
🤗 Hugging Face 参数高效微调库，支持 LoRA、QLoRA、AdaLoRA 等 SOTA 方法，大幅降低大模型微调成本。
🎯大语言模型低资源微调、领域适配、指令跟随训练
Axolotl
github.com/axolotl-ai-cloud/axolotl
LLM 微调训练工具，12K+ stars。支持 LoRA/QLoRA/全参数微调、DPO/ORPO 等对齐方法，兼容 Llama、Mistral、Qwen 等主流模型。提供 YAML 配置驱动的训练流程，是 LLM 微调的事实标准工具之一
🎯大模型微调与训练