Data Poisoning(数据投毒)
训练数据里下毒
亦作、亦称:数据投毒 · Training Data Poisoning
攻击者在训练或微调数据中植入恶意样本,使模型在触发条件下产生错误、后门或泄露行为。 数据投毒可在微调阶段植入触发后门,开源数据集与众包标注是常见攻击面,需来源审查与异常检测。
工作原理
攻击者在训练或微调数据中植入恶意样本,使模型在触发条件下产生错误、后门或泄露行为。 数据投毒可在微调阶段植入触发后门,开源数据集与众包标注是常见攻击面,需来源审查与异常检测。
应用场景
Data Poisoning常见于:红队测试、越狱防护、供应链安全与隐私保护。实际选型需结合业务指标、数据规模与部署约束评估适用性。
局限与误区
围绕 Data Poisoning 的口语化说法(见「常见误解」)常过度简化。效果依赖数据质量、任务匹配与系统整体设计;生产环境应配合评测、监控与人工复核。
背景与发展
Data Poisoning随 AI 研究与工程实践持续演进,定义边界与最佳实践仍在更新。建议结合原始论文、官方文档与本站延伸阅读建立准确认知。
常见误解
日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。
- 「训练数据里下毒」
- 「后门攻击的一种」
- 「微调数据要特别审」
相关术语
和本术语关联紧密的其他词条,便于串联理解。
延伸阅读
从知识库精选 3 篇文章,帮助深入理解该术语。
- 1
AI 国防基础设施与治理:从五角大楼 AI 协议到国家级 AI 治理体系
2026 年 5 月,美国国防部与 OpenAI、Google、Nvidia、AWS、Microsoft 签署机密网络 AI 协议,而 Anthropic 被排除在外。这一事件揭示了国家级 AI 国防基础设施建设的核心矛盾:技术能力、安全审查与治理框架的三重博弈。本文系统梳理 AI 国防基础设施的架构体系、治理框架、安全标准、技术路线和未来趋势。
- 2
AI 网络安全基础体系:威胁建模、纵深防御与治理框架
本文构建 AI 网络安全的完整基础体系,涵盖威胁分类、攻击面分析、防御策略、治理框架和最佳实践。适用于安全工程师、AI 开发者和企业安全决策者,提供从理论到实战的系统性知识。
- 3
AI Agent 金融合规:监管框架、风险管理与行业实践
随着 AI Agent 深度融入金融服务,金融合规成为 AI 治理的核心议题。本文系统讲解 AI Agent 在金融领域面临的完整合规框架——从全球主要监管机构(SEC、CFTC、EU MiCA、中国央行)的法规要求,到 AI Agent 特有的技术风险分类,再到可落地的合规架构设计与 Python 实战实现。涵盖数据治理、模型验证、审计追踪、公平性监控、跨境合规五大核心模块。适合 AI 工程师、金融科技从业者、合规官和对 AI 监管感兴趣的决策者。