核心要点
能定义 depth = 网络隐藏层/可学习变换的层数
理解深度与表达能力、训练难度的权衡
知道 ResNet、BatchNorm 等使深层网络可训的关键技术
能区分 depth 与 width(宽度)对容量的不同影响
标准回答
一、核心回答
在 深度学习 语境下,depth(深度) 通常指 神经网络 中可学习变换的层数(隐藏层 + 输出层前的特征提取栈),是「深」学习区别于浅层模型的核心特征。
二、为何重要
更深的网络可通过层次组合表达更复杂的非线性函数——浅层学局部模式,深层学抽象语义(如 CNN 中边缘→部件→物体)。理论上,足够宽的单隐层也能逼近任意函数(通用近似定理),但深层结构往往用更少参数达到同等表达能力。
三、训练挑战
层数增加时 反向传播 的梯度连乘易导致 梯度消失;同时优化景观更复杂。现代实践靠 ReLU 族激活、Batch Normalization、残差连接(ResNet)、更好的初始化与优化器使百层网络可训。
回答思路
【定义】用一句话说清「深度学习中的「深度」」
【原理】讲清关键机制或步骤(2~3 点)
【例子】举一个真实项目、论文或产品中的例子
【对比】与易混淆概念或替代方案比较(如有)
【收尾】总结适用场景 + 一个局限或风险
追问
追问 1:深度和宽度哪个对模型容量影响更大?
两者都增加容量,但作用不同:深度擅长层次化组合特征,宽度增加每层的并行表达能力。实践中常先加深再加宽;极宽浅网可能不如适中深度+宽度的网络高效。Transformer 类模型近年趋势是「更深更宽」配合大规模数据。
追问 2:为什么 2000 年代深层网络训不动,2012 年后又复兴?
追问 3:Information Bottleneck 与深度的关系?
信息瓶颈理论认为训练过程中层会压缩输入中与标签无关的信息、保留预测相关部分。深度网络通过多层瓶颈逐步提炼表示;过深或过浅都可能破坏这种压缩-预测平衡,需结合任务与正则化调节。
🔗 相似问题
同一考点的不同问法,换着练更稳
没找到想看的面试题?把你想看的告诉我们 →
延伸学习
按主题分类的相关资源,便于系统复习
