什么是通用近似定理？

通用近似定理（Universal Approximation Theorem, UAT） 是 神经网络 理论基石：在适当条件下，单隐藏层前馈网络只要足够宽（神经元够多），配合非线性激活（如 sigmoid、ReLU），就能在紧集上以任意精度一致逼近任意连续函数；

Cybenko (1989) / Hornik 等证明了对不同激活函数的版本

通用近似定理（Universal Approximation Theorem, UAT） 是 神经网络 理论基石：在适当条件下，单隐藏层前馈网络只要足够宽（神经元够多），配合非线性激活（如 sigmoid、ReLU），就能在紧集上以任意精度一致逼近任意连续函数。

Cybenko (1989) / Hornik 等证明了对不同激活函数的版本。直观理解：隐藏层神经元构成一组「基函数」，输出层线性组合可拟合复杂映射。

重要局限（面试常考）：

• 定理保证存在这样的权重，不保证梯度下降能找到
• 所需宽度可能指数级于输入维度，不现实
• 深度网络往往用更少参数达到同等表达能力（层次特征组合）

UAT 回答「神经网络能表示什么」；泛化、优化、数据效率是另一回事。与 深度学习 中「深度」的价值形成对照：实践中靠深层结构 + 大数据 + 好优化器，而非极宽浅层。

详见 深度学习基础。