Alignment Tax（对齐税）
Alignment Tax让模型听话的代价
亦作、亦称：对齐税 · 对齐代价
对齐税指安全对齐（RLHF/DPO）在提升可控性的同时，可能牺牲推理深度、创造力或开放域表现；需在安全与能力间做产品级权衡。
概述
RLHF/DPO 等对齐训练导致模型在安全性提升的同时，推理能力、创造力或指令遵循灵活性下降的现象。 对齐税指安全对齐（RLHF/DPO）在提升可控性的同时，可能牺牲推理深度、创造力或开放域表现；需在安全与能力间做产品级权衡。
工作原理
RLHF/DPO 等对齐训练导致模型在安全性提升的同时，推理能力、创造力或指令遵循灵活性下降的现象。 对齐税指安全对齐（RLHF/DPO）在提升可控性的同时，可能牺牲推理深度、创造力或开放域表现；需在安全与能力间做产品级权衡。
应用场景
Alignment Tax常见于：对话助手、代码生成、知识问答、内容创作与 Agent 推理底座。实际选型需结合业务指标、数据规模与部署约束评估适用性。
局限与误区
围绕 Alignment Tax 的口语化说法（见「常见误解」）常过度简化。效果依赖数据质量、任务匹配与系统整体设计；生产环境应配合评测、监控与人工复核。
背景与发展
Alignment Tax随 AI 研究与工程实践持续演进，定义边界与最佳实践仍在更新。建议结合原始论文、官方文档与本站延伸阅读建立准确认知。
常见误解
日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。
- 「让模型听话的代价」
- 「对齐后变笨了」
- 「安全和能力难两全」
相关术语
和本术语关联紧密的其他词条，便于串联理解。
🎯 考点练习
含该术语的高频面试题，含标准答案与追问。
- 中级开放查看详解 →
为什么有人担心 AGI / 超级智能的安全？
担忧来自能力快速提升、目标错配、不可控与权力集中，对应可扩展对齐、可解释、评测与治理。
- 中级开放查看详解 →
什么是 AI 对齐（Alignment）问题？
对齐是让 AI 的目标与人类价值一致，含外对齐（目标设定）与内对齐（优化器实际学到的目标）。
- 初级概念高频查看详解 →
什么是大语言模型（LLM）？它能做什么、不能做什么？
LLM 是基于 Transformer、在海量文本上预训练的自回归语言模型，擅长语言任务，但不擅长精确计算、实时信息，且会产生幻觉。
- 中级概念查看详解 →
DSL 如何提升 LLM 使用的可靠性？举例说明
Martin Fowler 提出用 DSL（领域特定语言）替代自然语言作为 LLM 的输入/输出接口，通过语法严格、类型安全和可验证性显著提升可靠性。
延伸阅读
从知识库精选 3 篇文章，帮助深入理解该术语。