llm.c

Karpathy 打造的训练和微调中小型 GPT 的最简最快实现，适合学习 LLM 内部原理

🎯 从零开始理解和训练 GPT 模型

Karpathy 用 100 美元能买到的最佳 ChatGPT 体验，从数据到训练到推理的完整实现

🎯 低成本构建自己的聊天机器人

100+ 大模型高效微调工具，71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法，提供 WebUI 一键式微调界面，兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录

🎯 LLM 领域微调、模型对齐、DPO 偏好优化、企业定制模型

LLM 微调 Web UI 和优化工具，62,269+ stars。提供 2 倍训练速度、70% 显存占用的 LLM 微调方案，支持 Llama、Mistral、Qwen 等主流模型的 LoRA/QLoRA 微调

🎯 LLM 微调训练、个性化模型定制、消费级显卡微调大模型

深度学习框架，64,020+ stars。高级神经网络 API，支持 TensorFlow、JAX、PyTorch 多后端。以用户友好著称，让深度学习从实验到生产的转化变得简单高效

🎯 深度学习模型开发、快速原型验证、工业级模型训练部署

深度学习训练优化库，42,156+ stars。微软开发的开源深度学习优化库，提供 ZeRO 内存优化、3D 并行等核心技术，大幅降低大模型训练成本

🎯 大语言模型训练、大规模分布式训练、显存优化