Robustness（鲁棒性）

鲁棒性是衡量模型在非理想条件下可靠性的核心指标。

• 定义：模型在输入存在噪声、缺失值、语义等价变体或对抗扰动时，预测结果不发生剧烈变化的能力
• 为何重要：生产环境的输入分布往往与训练集存在偏差，鲁棒性差意味着模型在真实场景中失效
• 研究背景：2013 年起随对抗样本（Adversarial Examples）现象被发现，鲁棒性成为 AI 安全的核心议题
• 衡量方式：通过在各类扰动下测试模型的准确率下降幅度来量化鲁棒性水平

根据威胁来源和扰动形式，鲁棒性可分为以下几类。

• 对抗鲁棒性（Adversarial Robustness）：抵御经过精心设计的对抗样本，例如加入人眼不可感知的像素噪声使分类器误判
• 分布外鲁棒性（OOD Robustness）：在训练分布之外的数据上保持泛化能力，应对自然的数据漂移
• 噪声鲁棒性（Noise Robustness）：面对随机噪声、传感器误差等非恶意干扰时的稳定性
• 语义鲁棒性（Semantic Robustness）：输入在语义等价变换（如同义词替换、图像翻转）后预测保持一致
• LLM 鲁棒性：大语言模型应对 Prompt 措辞变化、Prompt 注入等特有挑战的能力

评估与提升鲁棒性需要系统性的方法论。

• 攻击评估：使用 FGSM（快速梯度符号法）、PGD（投影梯度下降）等攻击手段生成对抗样本，测量模型准确率下降幅度
• 对抗训练（Adversarial Training）：在训练阶段将对抗样本加入数据集，使模型学会抵御扰动，是目前最有效的防御方法之一
• 随机平滑（Randomized Smoothing）：对输入施加随机高斯噪声后取预测众数，可提供可证明的鲁棒性保证
• 数据增强：通过翻转、裁剪、颜色抖动等方式扩充训练集，提升自然噪声下的泛化能力
• 形式化验证：对小型网络用数学方法证明在特定扰动范围内输出的界，提供强鲁棒性保证

鲁棒性在高风险领域尤为关键。

• 自动驾驶：路况传感器易受雨雪、光照变化影响，模型必须对感知噪声具备高鲁棒性
• 医疗影像诊断：不同设备、不同采集条件下的图像分布差异要求模型具备良好的 OOD 泛化能力
• 金融风控：欺诈者会主动调整行为以规避检测，对抗鲁棒性直接影响系统安全性
• 内容安全与 LLM：防御 Prompt 注入、越狱攻击，确保大语言模型输出符合预期
• 网络安全：入侵检测系统面对对抗性流量时需保持高检出率

鲁棒性与泛化是相关但不等同的概念，常被混淆。

• 泛化（Generalization）：指模型在同分布的未见数据上表现良好，是标准机器学习的核心目标
• 鲁棒性：强调在分布偏移或主动扰动下的稳定性，比泛化更严苛
• 准确率 ≠ 鲁棒：高测试准确率的模型对微小对抗扰动仍可能完全失效
• 权衡关系：研究表明对抗鲁棒性与标准准确率之间存在固有张力（Accuracy-Robustness Tradeoff），两者难以同时最大化
• 实践意义：生产环境评估不能只看 i.i.d. 测试集，须引入 OOD 测试集和对抗评估基准

鲁棒性研究与实践中存在若干需要警惕的误区。

• 安全感假象：通过「梯度遮蔽（Gradient Masking）」等技术让模型表面上鲁棒，实则无法抵御自适应攻击
• 评估局限：对抗鲁棒性通常只针对特定攻击类型评估，无法覆盖所有真实威胁
• 计算代价高：对抗训练比标准训练慢数倍，形式化验证对大型网络计算上不可行
• 标准准确率下降：提升对抗鲁棒性往往以牺牲一定干净样本准确率为代价
• 迁移性问题：在一种攻击下鲁棒的模型，对未见过的攻击类型仍可能脆弱

鲁棒性研究随深度学习崛起而快速演进。

• 2004 年：Biggio et al. 在垃圾邮件分类中最早系统研究对抗性操控，奠定对抗机器学习基础
• 2013 年：Szegedy et al.「Intriguing Properties of Neural Networks」发现深度神经网络对微小扰动的脆弱性
• 2014-2015 年：Goodfellow et al. 提出 FGSM 攻击方法，并引入对抗训练作为防御手段
• 2017 年：Madry et al. 提出基于 PGD 的对抗训练，成为鲁棒性基准方法
• 2019 年：随机平滑（Randomized Smoothing）取得可证明鲁棒性的重大进展
• 2022 年至今：LLM 鲁棒性研究兴起，Prompt 注入、越狱攻击与防御成为新热点