核心要点

  • 分类器方法: 训练二分类模型,使用词频、句法复杂度、困惑度等特征,准确率 95%+(lyc8503 方案 HN 237 pts 验证)

  • 水印方法: 检测文本中嵌入的统计信号(绿名单/红名单词汇),准确率 99%+(有水印时),但需要模型配合嵌入

  • LLM 判断方法: 用另一个 LLM 判断文本是否 AI 生成,准确率 90%+,可对抗性高

  • 最佳实践: 多方法组合(分类器 + 水印 + LLM 判断),持续用最新 LLM 输出重新训练

简要回答

主流 LLM 文本检测分三类:分类器(基于统计特征训练二分类模型,准确率 95%+)、水印检测(检测嵌入的统计信号,准确率 99%+)和 LLM 判断(用另一个 LLM 判断,准确率 90%+)。单一方法都有局限,最佳实践是多方法组合并持续更新。

标准回答

一、分类器方法

核心思路:LLM 生成的文本在统计特征上与人类写作存在系统性差异。特征工程包括:Token 级别(平均 token 长度、token 熵)、词汇级别(词汇丰富度 TTR、高频词分布)、句法级别(平均句长、从句密度)和语义级别(句间连贯性)。2026 年 7 月 lyc8503 的技术博客展示了使用逻辑回归和 SVM 在中等规模特征集上达到 95%+ 准确率。优势是训练成本低、可解释性强;局限是对改写攻击敏感。

二、水印方法

在 LLM 生成时嵌入统计信号:每次生成 token 时,使用密钥将词汇表分为绿名单和红名单,对绿名单词汇增加 logit 偏置。人类读者无法察觉差异,但检测器通过 Z-test 判断绿名单词汇比例是否异常高。优势是准确率极高(99%+,有水印时);局限是需要模型配合嵌入水印,对未嵌入水印的模型无效。

三、LLM 判断方法

使用另一个 LLM 判断文本是否由 AI 生成。GPTZero、Originality.ai 等产品采用此方案。优势是无需训练数据、可跨模型;局限是可对抗性高(改写、同义词替换可绕过),准确率约 90%。实际部署中需要结合元数据分析(发布时间、账号行为、编辑历史)和平台标记(如 AI 生成内容标签)进行综合判断,单一方法的误报率较高。实际部署中需要结合元数据分析(发布时间、账号行为、编辑历史)和平台标记(如 AI 生成内容标签)进行综合判断,单一方法的误报率较高。

四、对抗与防御

攻击者可通过改写(用另一个 LLM 改写)、同义词替换、混合策略(人机交替写作)和去水印工具绕过检测。防御对策:多方法组合(三重验证)、持续更新检测模型、对抗训练(训练数据加入改写样本)、水印鲁棒性设计。

五、工程实践建议

学术诚信场景:水印 + 分类器组合,要求受控环境写作。内容审核场景:对高风险内容提高检测阈值,结合元数据分析。品牌保护场景:定制检测模型,与平台合作标记。关键原则:检测结果作为辅助证据,不作为唯一判定标准——当前最好的检测器也有 5-10% 误报率。

常见误区

⚠️ 常见踩坑

误区一:LLM 文本检测可以达到 100% 准确率——当前最好的检测器也有 5-10% 误报率,在高风险决策中必须结合其他证据。

误区二:忽视水印方法的局限性——水印需要模型配合嵌入,对未嵌入水印的模型(如开源模型)无效。

误区三:检测器一次训练永久有效——LLM 快速迭代,检测模型需要定期用最新 LLM 输出重新训练。

追问

追问 1如何对抗改写攻击?

改写攻击(用另一个 LLM 改写 AI 文本)是最常见的绕过手段。防御策略:(1) 多方法组合——分类器 + 水印 + LLM 判断三重验证,改写可能绕过一种但难以同时绕过三种;(2) 对抗训练——在训练数据中加入改写样本,让分类器学习改写后的特征;(3) 元数据分析——结合发布时间、账号行为、编辑历史等非文本信号;(4) 持续更新——定期用最新 LLM 输出重新训练检测模型。

追问 2水印方法的绿名单/红名单是如何工作的?

在每次生成 token 时,使用密钥驱动的伪随机函数将词汇表分为绿名单和红名单。对绿名单词汇的 logit 增加固定偏置,使模型略微倾向于选择绿名单词汇。偏置量经过精心设计:足够大以在统计检验中被检测到,足够小以不影响文本质量。检测时通过 Z-test 计算文本中绿名单词汇的比例是否显著高于随机预期。即使只有 200 个 token,也可以高置信度判断是否含有水印。

🔗 相似问题

同一考点的不同问法,换着练更稳

没找到想看的面试题?把你想看的告诉我们 →

延伸学习

按主题分类的相关资源,便于系统复习