大模型课程进阶中文4–8 周★ 54k↑+1111 章可站内阅读
MiniMind
低成本复现完整 LLM 训练链路
jingyaogong · 54,457 stars · 8/8 04:44 → 8/8 14:57（10 小时）
面向个人与小团队的中文 from-scratch 项目：目标是在有限算力下把预训练、SFT、偏好对齐到推理评测整条链路跑通。工程说明细、可复现性强，适合已经会一点 PyTorch、想真正「训过一个小模型」的人。
为什么收录 · 把「训练 LLM」从云厂商神话拉回消费级现实。中文 LLM 书架上，它是最能交差的复现向教程。
LLM 训练预训练SFTRLHF/偏好对齐低成本复现MoE中文教程
这本书强在哪
- 中文社区最实用的「能在自己机器上复现」训练项目之一
- 强调完整链路与工程味道，而不只是单章 demos
- 文档把环境、数据、训练与推理步骤写得很落地
- 进阶目录开放 MoE 与 Agent RL，方便学完主干后延伸
建议怎么学
- 01先按官方最小配置跑通一遍，再谈改模型
- 02预训练与 SFT 分开记录 loss / 样本质量，不要混在一个实验里
- 03对齐阶段先求稳，再尝试更复杂的奖励/偏好设置
- 04理论对照可读 Happy-LLM / Dive into LLMs；要手写注意力内核可对照 Raschka
适合谁 / 前置
- Python / PyTorch 基础
- 一块消费级 GPU 更佳（也可先跟读 CPU/小配置）
- 能读中文技术长文与训练日志
学完得到什么
- 能在有限算力下跑通预训练 → SFT → 偏好对齐
- 理解数据、配置、评测与推理脚本如何串起来
- 接触 MoE / Agent RL 等进阶模块的入口
- 形成可复现实验记录（配置、种子、指标）习惯
目录
来自站内阅读器镜像；点击章节直接阅读
完整教程11 章
策展亮点章节
环境与数据准备预训练SFT偏好对齐推理与评测进阶：MoE / Agent RL
仓库数据
Stars54,457
Forks7,086
主要语言Python
创建2024/7/27
更新2026/8/8
393e387e（master）· 许可证 Apache License 2.0 (Apache-2.0)。 上游更新后可通过同步脚本刷新。