核心要点
Agent 成本失控的根本原因：不是 Token 单价太高，而是调用策略不合理。Token 单价从 2023 年到 2026 年降了 97%，但企业支出反而增长了——因为调用量增长了 100 倍。
核心策略：确定性代码与模型判断分离：把稳定、可预测的步骤移到确定性代码，只让模型做需要"理解"和"判断"的步骤。某开发者通过此策略将 Token 账单从 $1000/天 降至 $60/天，降低 94%。
OpenAI 成果计价框架：停止计算 Token，开始计算成果。核心公式：UWP（每美元有用工作量）= 业务价值 / AI 支出。UWP > 10 增加投入，UWP < 1 重新评估。
三层优化策略：入门级（便宜模型 + 缓存 + 压缩，节省 40-60%）、进阶级（确定性代码分离 + 批量 + 异步，节省 60-85%）、高级（模型路由 + 蒸馏 + 本地部署，节省 80-95%）。
成本治理是持续过程：建立三层监控（实时、每日、每月）、RACI 组织、成本文化。成本优化不应牺牲输出质量——UWP 才是核心指标。
简要回答
Agent 成本优化的核心策略是确定性代码与模型判断分离——只让模型做模型擅长的事（理解、判断、生成），其他都交给确定性代码。某开发者通过此策略将 Token 账单降低 94%。OpenAI 提出成果计价框架：UWP = 业务价值 / AI 支出，用 UWP 而非 Token 单价指导投资决策。三层优化策略从入门级（便宜模型 + 缓存）到高级（模型路由 + 蒸馏），可节省 40-95% 成本。
标准回答
一、Agent 成本失控的根本原因
Token 单价从 2023 年到 2026 年降了 97%，但企业支出反而增长了——因为调用量增长了 100 倍。
成本失控的四个原因：
- Agent 自主性：Agent 自主决定调用模型次数，人类无法实时控制。一个 Agent 任务调用模型 50 次，人类只期望 5 次。
- 重试风暴：模型输出格式错误后自动重试，指数级放大成本。JSON 解析失败→重试→再失败→再重试→10 次后放弃。
- 过度调用：用贵模型处理简单任务，浪费 Token。用 GPT-5.6 做简单的文本分类。
- 上下文膨胀：每次调用都携带完整历史，Token 消耗线性增长。10 轮对话后，每轮携带 10 轮历史。
二、核心策略：确定性代码与模型判断分离
判断标准：一个步骤是否应该用模型？
| 问题 | 是 → 用模型 | 否 → 用确定性代码 |
|---|---|---|
| 需要理解自然语言？ | ✅ | ❌ |
| 需要处理模糊/不完整输入？ | ✅ | ❌ |
| 需要生成创造性内容？ | ✅ | ❌ |
| 输入→输出有明确规则？ | ❌ | ✅ |
| 可以用 if/else 实现？ | ❌ | ✅ |
实战案例：94% 成本降低。优化前架构：用户输入 → LLM（理解意图）→ LLM（查询数据库）→ LLM（格式化输出）→ 用户。每次请求调用 3 次 LLM，平均消耗 5000 tokens，成本 $0.15/请求。优化后架构：用户输入 → LLM（理解意图）→ 确定性代码（查询数据库）→ 确定性代码（格式化输出）→ 用户。每次请求只调用 1 次 LLM，平均消耗 1500 tokens，成本 $0.009/请求。
三、OpenAI 成果计价框架
传统 Token 计价的局限：与价值脱钩、难以优化、难以预测。成果计价框架核心公式：UWP（每美元有用工作量）= 业务价值 / AI 支出。
示例：客服 Agent（$1000/月 AI 支出，节省 $50,000/月人工成本，UWP=50）；代码生成 Agent（$5000/月支出，提升 5 个开发者 30% 效率，UWP=6）；数据分析 Agent（$2000/月支出，发现 $100,000 关键洞察，UWP=50）。UWP > 10 增加投入，UWP 1-10 优化成本，UWP < 1 重新评估。
四、三层优化策略
入门级策略（立即可用）：默认使用便宜模型（节省 30-50%）、语义缓存（节省 20-40%）、上下文压缩（节省 10-30%）。进阶级策略（需要开发）：确定性代码分离（节省 50-90%）、批量处理（节省 50%）、异步处理（节省 20-50%）。高级策略（需要基础设施）：模型路由（节省 40-70%）、模型蒸馏（节省 70-95%）、本地部署（节省 80-99%）。
五、成本治理是持续过程
三层监控：实时（Token 消耗速率）、每日（日成本、UWP）、每月（成本趋势、预算执行）。告警阈值：日成本超预算 20% 告警、超 50% 自动降级、单任务超阈值终止。
常见误区
⚠️ 常见踩坑
误区一：只看 token 单价不看总成本。Token 单价降了 97%，但调用量增长了 100 倍，总支出反而增长。应该关注 UWP（每美元有用工作量）。
误区二：认为成本优化会牺牲质量。成本优化不应牺牲输出质量——UWP 才是核心指标。优化策略应平衡成本与质量。
误区三：忽略成本治理的持续性。成本治理是持续过程，不是一次性任务。建立文化和机制比技术手段更重要。
误区四：认为所有步骤都需要模型。很多步骤可以用确定性代码替代（数据格式转换、校验、路由分发）。只让模型做模型擅长的事。
追问
追问 1：如何平衡成本与质量？
用 UWP 框架平衡成本与质量：UWP = 业务价值 / AI 支出。优化成本时必须同步监控业务价值，确保 UWP 不下降。具体做法：(1) 建立成本-质量双维度监控看板，每次优化后对比 UWP 变化趋势；(2) 设置质量底线（如用户满意度 > 4.0、任务完成率 > 95%），成本优化不能突破质量底线；(3) 定期复盘优化效果，淘汰导致 UWP 下降的无效策略。核心原则：成本优化的目标是提升 UWP，而不是单纯降低 Token 支出。
追问 2：如何实施确定性代码分离？
识别可以用 if/else 实现的步骤（数据格式转换、校验、路由分发），用代码替代模型调用。具体步骤：(1) 梳理 Agent 工作流，列出所有步骤和每步的 Token 消耗；(2) 对每个步骤问"能否用规则描述输入输出关系"——如果有明确规则，就用代码；如果需要"理解"和"判断"，就用模型；(3) 对可确定化的步骤编写代码实现并做回归测试；(4) 对比优化前后的成本和延迟。关键是只让模型做模型擅长的事（理解、判断、生成），其他都交给确定性代码。
追问 3：如何建立成本治理文化？
四个支柱建立成本治理文化：(1) 成本意识——每个工程师了解 Token 成本，新功能上线前做成本预估；(2) 成本评审——建立成本评审流程，类似代码评审，新功能必须通过成本评审才能上线；(3) 成本分享——定期分享优化经验和最佳实践，建立内部知识库；(4) 成本激励——将成本优化纳入绩效考核，设立成本节约奖励机制。让成本优化成为团队习惯，而不是临时任务。核心指标是 UWP，不是 Token 单价。
🔗 相似问题
同一考点的不同问法，换着练更稳
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习
