Model Poisoning(模型投毒)
Model Poisoning在开源模型里下毒
亦作、亦称:模型投毒 · Model Poisoning · AI 模型投毒 · Supply Chain Poisoning
Model Poisoning 是开源 AI 供应链安全的核心威胁——当模型权重和训练数据公开时,任何人都可以'贡献'恶意数据,而用户无法验证模型是否被篡改。
攻击向量
Model Poisoning 的主要攻击向量包括:训练数据投毒——在公开数据集中注入带标签错误或后门触发器;权重投毒——修改开源模型权重文件,使特定输入产生预期输出;微调投毒——在 LoRA/Adapter 微调数据中注入恶意样本。2026 年 The Register 报道的攻击成本低于 $100,说明这种攻击的门槛极低,对开源生态构成系统性威胁。
防御方案
防御 Model Poisoning 需要多层方案:来源验证——只从可信渠道获取模型权重,验证 SHA256 哈希;行为测试——使用红队测试集检测后门触发条件;运行时监控——对模型输出做异常检测,识别偏离预期的输出模式;模型水印——在输出中嵌入不可见水印,追踪模型来源和篡改历史。GPT-Red(blog-439)的自动化红队能力可以辅助检测投毒模型。
生态影响
Model Poisoning 对开源 AI 生态的影响深远:Hugging Face 等模型托管平台需要加强模型安全审计;企业使用开源模型需要建立供应链安全流程;AI 安全团队需要将模型投毒纳入威胁模型。开源 AI 的信任基础不仅在于代码透明,更在于模型权重的可验证安全性。
常见误解
日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。
- 「在开源模型里下毒」
相关术语
和本术语关联紧密的其他词条,便于串联理解。
🎯 考点练习
含该术语的高频面试题,含标准答案与追问。
- 高级系统设计查看详解 →
如何防御开源 AI 模型的供应链攻击?
从 Model Poisoning 攻击向量出发,设计多层防御体系:来源验证、行为测试、运行时监控和模型水印,构建开源 AI 供应链安全方案。
- 高级系统设计查看详解 →
设计一个 Agent 长期记忆系统,支持可写外部记忆、过期策略和冲突解决
考察候选人对 Agent 记忆架构的理解,特别是从 RAG 只读到可写外部记忆的演进,以及过期、冲突解决等工程挑战。
- 中级系统设计查看详解 →
如何为 AI Agent 交易设计审计和权限控制?
考察候选人对 Agent 经济活动的审计和权限控制设计,特别是 Smart Tokens 等可编程支付工具的应用。
- 高级系统设计查看详解 →
Multi-Agent 系统中如何处理 Agent 遗忘/状态丢失?
考察候选人对 Multi-Agent 系统中状态管理和容错设计的理解,特别是 Agent 崩溃、重启或上下文丢失时的恢复策略。
延伸阅读
从知识库精选 1 篇文章,帮助深入理解该术语。
外部参考
维基百科:查看「Model Poisoning」词条本页内容为本站原创撰写;维基百科链接仅作延伸参考。
