PEFT
Hugging Face 出品的参数高效微调(PEFT)库,21.1K+ stars。支持 LoRA、Adapter 等多种参数高效微调方法,大幅降低大模型微调的显存和计算需求。与 Transformers 深度集成,是 LLM 微调的标准工具
📊 仓库数据
📈 上次抓取以来 ↑+1 ⭐
✅ 优点
- •GitHub 21K+ stars,社区活跃
- •支持模型微调
- •Python 生态友好
⚠️ 限制
- •需要 Python 环境
- •学习曲线较陡
- •文档可能需要完善
🔗 相关工具
LLaMA Factory
开源⭐ 71k↑+10github.com/hiyouga/LLaMA-Factory
100+ 大模型高效微调工具,71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法,提供 WebUI 一键式微调界面,兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录
🎯 LLM 领域微调、模型对齐、DPO 偏好优化、企业定制模型
Unsloth
开源⭐ 65k↑+27github.com/unslothai/unsloth
LLM 微调 Web UI 和优化工具,62,269+ stars。提供 2 倍训练速度、70% 显存占用的 LLM 微调方案,支持 Llama、Mistral、Qwen 等主流模型的 LoRA/QLoRA 微调
🎯 LLM 微调训练、个性化模型定制、消费级显卡微调大模型
ModelScope SWIFT
开源⭐ 14k↑+5github.com/modelscope/ms-swift
魔搭社区出品的大模型微调框架,支持 600+ LLM 和 300+ MLLM 的全量/LoRA/DPO/GRPO 微调。覆盖 Qwen3.6、DeepSeek-R1、GLM-5.1、Llama4 等主流模型,提供 WebUI 和 CLI 双接口。14K+ stars,是中国生态最全面的微调工具
Keras
开源⭐ 64kgithub.com/keras-team/keras
深度学习框架,64,020+ stars。高级神经网络 API,支持 TensorFlow、JAX、PyTorch 多后端。以用户友好著称,让深度学习从实验到生产的转化变得简单高效
🎯 深度学习模型开发、快速原型验证、工业级模型训练部署
nanoGPT
开源⭐ 58k↑+24github.com/karpathy/nanoGPT
Karpathy 打造的训练和微调中小型 GPT 的最简最快实现,适合学习 LLM 内部原理
🎯 从零开始理解和训练 GPT 模型
nanoChat
开源⭐ 54k↑+30github.com/karpathy/nanochat
Karpathy 用 100 美元能买到的最佳 ChatGPT 体验,从数据到训练到推理的完整实现
🎯 低成本构建自己的聊天机器人