基础理论课程进阶英文3–5 周★ 24k7 章可站内阅读
Neural Networks: Zero to Hero
Karpathy：神经网络从零到英雄视频课
Andrej Karpathy · 23,913 stars
Andrej Karpathy 的 Neural Networks: Zero to Hero。从微观梯度与语言建模入手，带你亲手实现关键组件，建立不被框架遮住的神经网络直觉。适合有一点编程基础、准备冲击 LLM 实现课的人。
为什么收录 · 通往手搓 GPT 之前最该认真上完的一门公开课，补齐站内 foundations 的「实现向」入口。
神经网络反向传播语言模型从零实现视频课PyTorch 直觉
这本书强在哪
- Karpathy 经典公开课，口碑与完课率都很高
- 强调亲手实现，拒绝只调高层 API
- 自然衔接到 build-nanogpt 与更大 LLM 实现课
- 材料精炼，适合作为深度学习第二门认真课
建议怎么学
- 01按视频顺序，每集必须自己敲代码，不要只看
- 02把 backprop 与训练曲线异常作为重点笔记
- 03全部跟完再进入 build-nanogpt
- 04需要体系教材时并行 d2l 或李宏毅教程
适合谁 / 前置
- Python 基础
- 高中数学 + 一点微积分/线性代数直觉
- 不要求先学深度学习框架全套 API
学完得到什么
- 亲手实现并理解反向传播与训练动态
- 建立对语言模型微观机制的直觉
- 能读懂后续 nanoGPT / Transformer 实现课
- 形成「先造轮子再用不黑盒」的学习习惯
目录
来自站内阅读器镜像；点击章节直接阅读
Notebook7 章
策展亮点章节
微观梯度与 autograd语言建模基础MLP / 激活与初始化WaveNet 等结构线索通向 Transformer 的桥
仓库数据
Stars23,913
Forks3,505
主要语言Jupyter Notebook
协议MIT
创建2022/9/9
更新2024/8/18
73c3fcc7（master）· 许可证 MIT License (MIT)。 上游更新后可通过同步脚本刷新。