Model Poisoning(模型投毒)

Model Poisoning

在开源模型里下毒

亦作、亦称:模型投毒 · Model Poisoning · AI 模型投毒 · Supply Chain Poisoning

Model Poisoning 是开源 AI 供应链安全的核心威胁——当模型权重和训练数据公开时,任何人都可以'贡献'恶意数据,而用户无法验证模型是否被篡改。

攻击向量

Model Poisoning 的主要攻击向量包括:训练数据投毒——在公开数据集中注入带标签错误或后门触发器;权重投毒——修改开源模型权重文件,使特定输入产生预期输出;微调投毒——在 LoRA/Adapter 微调数据中注入恶意样本。2026 年 The Register 报道的攻击成本低于 $100,说明这种攻击的门槛极低,对开源生态构成系统性威胁。

防御方案

防御 Model Poisoning 需要多层方案:来源验证——只从可信渠道获取模型权重,验证 SHA256 哈希;行为测试——使用红队测试集检测后门触发条件;运行时监控——对模型输出做异常检测,识别偏离预期的输出模式;模型水印——在输出中嵌入不可见水印,追踪模型来源和篡改历史。GPT-Red(blog-439)的自动化红队能力可以辅助检测投毒模型。

生态影响

Model Poisoning 对开源 AI 生态的影响深远:Hugging Face 等模型托管平台需要加强模型安全审计;企业使用开源模型需要建立供应链安全流程;AI 安全团队需要将模型投毒纳入威胁模型。开源 AI 的信任基础不仅在于代码透明,更在于模型权重的可验证安全性。

常见误解

日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。

  • 「在开源模型里下毒」

相关术语

和本术语关联紧密的其他词条,便于串联理解。

🎯 考点练习

含该术语的高频面试题,含标准答案与追问。

延伸阅读

从知识库精选 1 篇文章,帮助深入理解该术语。

  1. 1

    AI 供应链安全:从 Axios 事件到开源依赖危机

    深入分析 AI 软件供应链安全威胁,从 Axios npm 事件、AI 编码助手风险到开源依赖攻击链路,提供从检测到防御的完整技术指南

外部参考

维基百科:查看「Model Poisoning」词条

本页内容为本站原创撰写;维基百科链接仅作延伸参考。