LLM 中的 Role Tag 是什么？攻击者如何利用 role tag 注入实现越狱或数据泄露？

Role Tag 是 LLM 区分 user/assistant/system/tool 的角色标记，让模型知道每段话是谁说的、该如何对待。问题在于这些标签最终以普通文本进入模型，模型无法在架构上区分真实指令和伪装成指令的数据。攻击者在外部数据（网页、文档、工具返回）里注入模仿某角色语气的文本，就能让模型把数据当成真实指令或自身输出，实现越狱或数据泄露——这就是"角色混淆"。它与应用层提示注入的区别在于：后者靠关键词句式欺骗，前者利用"指令与数据无强制隔离"的根本设计。防御上，输入过滤只能抬高门槛，真正有效的是特权分离：高权限工具独立授权、不经模型自由文本决策，让模型被骗了也没有越权能力。

一、Role Tag 是什么

现代 LLM 用角色标签（Role Tag）把一段连续的文本流切分成有语义的片段：user 标签意味着"这是外部的、可能不可信的、需要回应的内容"；assistant 标签意味着"这是我自己的输出，可信并继续"；system 标签意味着"这是开发者指令，优先级最高"；tool 标签意味着"这是工具返回的数据"。这些标签让模型知道每段话是谁说的、该如何对待、接下来生成什么，是对话能力的基础结构。

二、架构层的信任边界裂缝

关键问题在于：这些标签最终都以普通文本的形式进入模型，模型无法在架构层面强制区分"真的 system 指令"和"伪装成 system 的数据"。LLM 的本质是把所有输入当作 token 序列处理，只要指令和数据最终以同一种形式喂给模型，就永远存在被混淆的可能。这是当前 Transformer 加文本对话范式的结构性缺陷，而非某个实现的疏忽。

三、角色混淆攻击的机制

一项以"Prompt Injection as Role Confusion"为题的研究（arXiv:2603.12277，ICML 2026 方向）系统验证了这一点：攻击者只要在外部数据里注入看起来像 user 或 assistant 的文本片段，就可能让模型把它当成真实指令或真实输出。研究者发现，当注入文本的风格与结构模仿了某角色的"语气特征"——比如模仿模型思维链的 CoTness——模型会被骗到把数据当成自己的推理。在 Agent 场景里，注入可能只是埋在海量工具输出里的几个 token，只要让 LLM 误以为是用户命令就成功了。

四、与应用层提示注入的区别

传统提示注入（如"忽略以上所有指令"）是应用层的攻击，靠关键词和句式欺骗模型；Role Tag 攻击是架构层的攻击，利用的是"指令与数据在同一文本流中无强制隔离"这一根本设计。这也是为什么 OWASP 把提示注入列为 2026 年 LLM 应用头号威胁——人类红队对前沿模型的攻击成功率一度接近 100%，即便 2026 年 5 月的测试中顶级模型面对自动化攻击仍有 11% 到 25% 的失败率。

五、防御：从应用过滤到特权分离

第一层是输入侧过滤与结构化：对用户输入和外部数据做模式过滤、用清晰定界符包裹不可信内容——这能抬高门槛但抓不住所有攻击。第二层是特权最小化，这是真正有效的：给模型的权限严格按需分配，高风险工具（删除、转账、发送、执行代码）需要独立授权通道，不经过模型的自由文本决策，即使模型被完全欺骗也能调用的工具只有低权限部分。第三层是输出过滤与行为监控。第四层是架构级隔离探索，如对不可信数据打特殊标记并在注意力中降权，或用独立验证模型审查主模型决策。核心思想是：既然无法让模型可靠区分指令与数据，就降低"被骗之后能造成的损害"。