对抗性机器学习（Adversarial Machine Learning）

对抗性机器学习的历史可追溯到 2004 年。John Graham-Cumming 在 MIT 垃圾邮件会议上展示了一个 ML 垃圾邮件过滤器可被自动击败。同年 Nilesh Dalvi 等人指出线性分类器可被简单的逃逸攻击击败。

2006 年 Marco Barreno 等人发表「Can Machine Learning Be Secure?」，建立了攻击的系统分类法。2012-2013 年 Battista Biggio 等人首次展示了支持向量机和神经网络的梯度攻击，打破了「非线性分类器天然安全」的幻想。

2014 年 Christian Szegedy 等人证明深度神经网络可被对抗性扰动欺骗。2019 年研究者发现仅改变一个像素就能欺骗深度学习算法。2023 年芝加哥大学发布 Nightshade 数据投毒工具，被视觉艺术家用于保护版权。

2026 年 TATA 方法可在数天内从商用 API 提取训练数据，对抗性机器学习从学术走向产业安全实践。

对抗性攻击可分为四大类。逃逸攻击：在推理时提供精心设计的输入以误导模型。经典案例包括 McAfee 仅用两英寸黑色胶带欺骗特斯拉 Mobileye 系统使其超速 50mph；研究者 3D 打印了一只玩具乌龟，从任何角度看都被 Google AI 识别为步枪。

数据投毒：污染训练数据以植入后门或降低模型性能。Nightshade 工具通过在图像中添加人眼不可见的扰动，破坏文生图模型的训练数据。拜占庭攻击：在联邦学习中发送恶意模型更新。研究表明，仅需 20% 的恶意节点就能使全局模型准确率降至 10%。模型提取：通过 API 查询复制模型行为。

2026 年 TATA 方法通过自适应对抗性提示，在数天内从商用 API 提取足够训练数据，蒸馏出性能达原模型约 90% 的替代品。

对抗性防御是一个活跃的研究领域，目前没有银弹。主要防御策略包括：对抗性训练（在训练数据中加入对抗性样本，提升模型鲁棒性）、认证鲁棒性（通过形式化方法证明模型在给定扰动范围内不会被欺骗）、输入检测（在推理前检测输入是否包含对抗性扰动）和集成方法（使用多个模型投票降低单点失败风险）。

2026 年的产业实践出现了新趋势：Anthropic 提出的 API 水印方案在每个响应中嵌入不可见统计标记，用于事后溯源蒸馏行为；AMFS（对抗性微调）在训练阶段注入对抗性样本，将蒸馏成功率从 92% 降至 3%；大型科技公司（Google、Microsoft、IBM）已开始开源对抗性机器学习工具库，帮助开发者评估模型鲁棒性。

但学术界也指出挑战：对抗性攻击在真实环境中比实验室更难复现，任何小的旋转或光照变化都可能消除对抗性效果。