大模型课程进阶中文4–8 周★ 4.3k20 章可站内阅读
LLMs from Scratch CN
Datawhale：中文从零构建大模型
Datawhale · 4,312 stars
Datawhale 中文「从零构建大模型」教程：在 Python 基础上逐步实现并理解多种主流结构。适合读过概念、需要靠写代码把原理钉死，并对照 GLM / Llama / RWKV 差异的人。
为什么收录 · 中文从零实现主线补强，和 rasbt 英文原版、tiny-universe 形成可对照的三角支撑。
从零实现GLMLlamaRWKV训练中文教程
这本书强在哪
- rasbt 路线的中文系统化版本
- 覆盖多种代表性结构，不只单一 GPT
- 与英文 LLMs-from-scratch 可对照
- Datawhale 质量与社区支持较好
建议怎么学
- 01先完成最小可训练模型，再扩到目标架构
- 02每章对照英文 rasbt 材料查漏
- 03记录自己实现与参考实现的差异
- 04学完后接对齐 / 微调专题或 self-llm
适合谁 / 前置
- 扎实 Python
- 基础深度学习 / PyTorch 更佳
- 能接受较长动手周期
学完得到什么
- 从零实现关键模型结构与训练步骤
- 理解 GLM / Llama / RWKV 等结构差异
- 建立「读论文→写代码」迁移能力
- 为后续微调与对齐打下实现基础
目录
来自站内阅读器镜像；点击章节直接阅读
Codes20 章
- 01Python 设置提示markdown
- 02本书使用的库markdown
- 03第2章：处理文本数据markdown
- 04第2章:使用文本数据markdown
- 05第2章:使用文本数据markdown
- 06Chapter 3: Coding Attention Mechanismsmarkdown
- 07Chapter 4: Implementing a GPT model from Scratch To Generate Textmarkdown
- 08Chapter 5: 使用未标记数据进行预训练markdown
- 09Alternative Weight Loadingmarkdown
- 10Pretraining GPT on the Project Gutenberg Datasetmarkdown
- 11Adding Bells and Whistles to the Training Loopmarkdown
- 12Optimizing Hyperparameters for Pretrainingmarkdown
- 13第 6 章：用于文本分类的微调markdown
- 14额外实验markdown
- 15对 50k IMDB 电影评论的情感进行分类的附加实验markdown
- 16Chapter 7: Finetuning to Follow Instructionsmarkdown
- 17Chapter 7: Finetuning to Follow Instructionsmarkdown
- 18Chapter 7: Finetuning to Follow Instructionsmarkdown
- 19Chapter 7: Finetuning to Follow Instructionsmarkdown
- 20Generating a Dataset for Instruction Finetuningmarkdown
策展亮点章节
环境与基础核心结构实现训练流程代表性架构复现扩展阅读
仓库数据
Stars4,312
Forks590
主要语言Jupyter Notebook
创建2024/2/28
更新2026/8/9
6ca2631b（main）· 许可证 MIT License (MIT)。 上游更新后可通过同步脚本刷新。