Data Poisoning(数据投毒)

训练数据里下毒

亦作、亦称:数据投毒 · Training Data Poisoning

攻击者在训练或微调数据中植入恶意样本,使模型在触发条件下产生错误、后门或泄露行为。 数据投毒可在微调阶段植入触发后门,开源数据集与众包标注是常见攻击面,需来源审查与异常检测。

工作原理

攻击者在训练或微调数据中植入恶意样本,使模型在触发条件下产生错误、后门或泄露行为。 数据投毒可在微调阶段植入触发后门,开源数据集与众包标注是常见攻击面,需来源审查与异常检测。

应用场景

Data Poisoning常见于:红队测试、越狱防护、供应链安全与隐私保护。实际选型需结合业务指标、数据规模与部署约束评估适用性。

局限与误区

围绕 Data Poisoning 的口语化说法(见「常见误解」)常过度简化。效果依赖数据质量、任务匹配与系统整体设计;生产环境应配合评测、监控与人工复核。

背景与发展

Data Poisoning随 AI 研究与工程实践持续演进,定义边界与最佳实践仍在更新。建议结合原始论文、官方文档与本站延伸阅读建立准确认知。

常见误解

日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。

  • 「训练数据里下毒」
  • 「后门攻击的一种」
  • 「微调数据要特别审」

相关术语

和本术语关联紧密的其他词条,便于串联理解。

延伸阅读

从知识库精选 3 篇文章,帮助深入理解该术语。

  1. 1

    AI 国防基础设施与治理:从五角大楼 AI 协议到国家级 AI 治理体系

    2026 年 5 月,美国国防部与 OpenAI、Google、Nvidia、AWS、Microsoft 签署机密网络 AI 协议,而 Anthropic 被排除在外。这一事件揭示了国家级 AI 国防基础设施建设的核心矛盾:技术能力、安全审查与治理框架的三重博弈。本文系统梳理 AI 国防基础设施的架构体系、治理框架、安全标准、技术路线和未来趋势。

  2. 2

    AI 网络安全基础体系:威胁建模、纵深防御与治理框架

    本文构建 AI 网络安全的完整基础体系,涵盖威胁分类、攻击面分析、防御策略、治理框架和最佳实践。适用于安全工程师、AI 开发者和企业安全决策者,提供从理论到实战的系统性知识。

  3. 3

    AI Agent 金融合规:监管框架、风险管理与行业实践

    随着 AI Agent 深度融入金融服务,金融合规成为 AI 治理的核心议题。本文系统讲解 AI Agent 在金融领域面临的完整合规框架——从全球主要监管机构(SEC、CFTC、EU MiCA、中国央行)的法规要求,到 AI Agent 特有的技术风险分类,再到可落地的合规架构设计与 Python 实战实现。涵盖数据治理、模型验证、审计追踪、公平性监控、跨境合规五大核心模块。适合 AI 工程师、金融科技从业者、合规官和对 AI 监管感兴趣的决策者。