标准回答
一、先给出结论和背景
- 需求与指标：对 UGC（文本/图像/视频/音频）做合规与安全审核。核心权衡是召回（漏放有害内容的代价）与误杀（错杀正常内容伤害体验）；还要关注时效（实时拦截 vs 异步复审）与对抗鲁棒性。
- 整体架构：分层流水线：第一层规则与黑名单引擎做高确定性快拦（违禁词、哈希命中已知违规素材）；第二层多模态分类器对文本、图像、视频帧、音频转写并行打分；第三层按风险分级路由——高分直接处置、灰色区间升级人审。
二、拆开关键步骤和判断点
- 关键模块：多模态分类：文本走分类模型/LLM，图像视频走视觉模型，音频先 ASR 再过文本链路；风险分级：不同品类设不同阈值，高危从严；人审与申诉：疑难样本进人审队列，用户可申诉并触发复核。
- 评估：离线用分品类标注集看 Recall/Precision/F1，重点盯高危品类漏检率与整体误杀率；定期红队构造对抗变体测鲁棒性。
三、补上落地边界和取舍
- 上线与监控：灰度 + A/B；监控各品类拦截量、人审积压、申诉改判率与误杀投诉；对抗样本和 badcase 持续回流标注、滚动重训，保证模型跟上规避手法。
常见误区
⚠️ 常见踩坑
误区一：容易答偏的地方：只追求高准确率而不分品类设阈值——高危内容需高召回、灰色内容需低误杀，一刀切阈值必然两头不讨好；以及忽视对抗规避，模型不滚动更新很快被变体词和嵌字图绕过。
追问
追问 1：召回和误杀（精确率）如何权衡？
按风险分级而非全局取一个阈值：高危违法内容设高召回阈值，宁可误杀也要拦住，误杀部分由申诉与人审纠正；低危/灰色内容设保守阈值，避免伤害正常用户体验。中间区间一律升级人审，用人工判断换取两端指标都达标。
追问 2：如何应对对抗规避（变体词、嵌字图片）？
🔗 相似问题
同一考点的不同问法，换着练更稳
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习
