深度学习核心技术学习导览

机器学习靠"特征工程"（人工提取特征），深度学习靠"端到端学习"（从原始数据直接学）。

2012 年 AlexNet 在图像识别比赛中大获全胜，深度学习从此崛起。今天，几乎所有 AI 突破都来自深度学习。

深度学习分为四个方向：

神经网络基础— 感知机、多层网络、反向传播、激活函数、优化器

CNN（计算机视觉）— 卷积、池化、ResNet

RNN / 序列模型— RNN、LSTM、注意力机制

Transformer — Self-Attention、编码器（LLM 的基石）

重点投入时间：

• 神经网络基础（反向传播是核心）
• Transformer 架构（LLM 的基石）

可以略过的：

• CNN 的具体架构细节（知道思想就行）
• RNN 的数学推导（知道 LSTM 解决什么问题就行）

2026 年最重要的部分：Transformer。 它是 GPT、Claude、Gemini 的共同基础。

本分类共 21 篇文章，以下是我们推荐的系统性学习路径：

第一阶段：神经网络基础（5 篇）

1. **神经网络基础**：从感知机到多层网络（dl-001）→ 理解神经网络的基本结构
2. **神经网络基础**：前向传播、反向传播与激活函数（dl-019）→ 掌握核心机制
3. **反向传播**：神经网络如何学习（dl-002）→ 深度理解梯度传播
4. CNN：卷积神经网络架构详解（dl-006）→ 了解卷积思想
5. CNN 卷积神经网络：从 LeNet 到 ResNet（dl-020）→ CNN 架构演进

第二阶段：核心进阶（选读 8 篇）

• 🔥 核心必读：注意力机制与 Transformer 架构（dl-004）、优化器：SGD, Momentum, Adam, AdamW（dl-007）、正则化：BatchNorm, LayerNorm, Dropout（dl-009）
• 深入理解：损失函数大全（dl-008）、初始化策略（dl-010）、迁移学习：预训练 + 微调范式（dl-015）
• 拓展阅读：RNN 与 LSTM（dl-003）、GAN 生成对抗网络（dl-005）

第三阶段：高级专题（按需选读）

• Mixture of Experts MoE（dl-017）、分布式训练（dl-016）、图神经网络 GNN（dl-013）、神经架构搜索 NAS（dl-014）

> ⚡ 速成建议： 第一阶段 + 第二阶段的核心必读 = 深度学习的核心知识。其余可以在实践中按需补学。