Agent 成本工程：从 token 计价到成果计价的范式转变

2026 年，AI Agent 从实验走向生产，但成本问题成为最大障碍。

行业数据：

• 据 DoIT 2026 年调查，79% 的企业在过去 12 个月经历过 AI 成本超支
• Uber 2026 年 4 月就烧光全年 AI 预算，95% 工程师月用 AI 工具
• Token 价格虽降 97%（2023→2026），但企业 AI 支出反而增长 10 倍

成本失控的根本原因：

关键洞察： Agent 成本问题的本质不是 Token 单价太高，而是 调用策略不合理。Token 单价从 2023 年到 2026 年降了 97%，但企业支出反而增长了——因为调用量增长了 100 倍。

Agent 成本优化的核心策略是 确定性代码与模型判断分离 — 把稳定、可预测的步骤移到确定性代码，只让模型做需要"理解"和"判断"的步骤。

2.1 什么是确定性代码 vs 模型判断

2.2 实战案例：94% 成本降低

案例背景： 某开发者将 Agent 的 Token 账单从 $1000/天 降至 $60/天，降低 94%。

优化前架构：

每次请求调用 3 次 LLM，平均消耗 5000 tokens，成本 $0.15/请求。

优化后架构：

每次请求只调用 1 次 LLM，平均消耗 1500 tokens，成本 $0.009/请求。

优化细节：

关键洞察： 数据库查询和格式化输出是 确定性任务 — 输入→输出完全可预测，不需要模型"理解"。将这些步骤移到确定性代码，成本从 $0.10 降至 $0。

2.3 分离策略的决策框架

判断标准： 一个步骤是否应该用模型？

常见可移到确定性代码的步骤：

• 数据格式转换（JSON→CSV、XML→JSON）
• 数据校验（格式检查、范围检查）
• 路由分发（根据意图调用不同 API）
• 结果拼接（将多个 API 结果组合）
• 模板填充（将数据填入预定义模板）

用户输入 → LLM（理解意图）→ LLM（查询数据库）→ LLM（格式化输出）→ 用户

用户输入 → LLM（理解意图）→ 确定性代码（查询数据库）→ 确定性代码（格式化输出）→ 用户

2026 年 7 月，OpenAI 提出一个颠覆性观点：停止计算 Token，开始计算成果。

3.1 传统 Token 计价的局限

传统 AI 成本管理的核心指标是 Token 成本：

• 输入 Token 单价：$X / 1M tokens
• 输出 Token 单价：$Y / 1M tokens
• 总成本 = 输入 Token 数 × 单价 + 输出 Token 数 × 单价

局限：

3.2 成果计价框架

OpenAI 提出的新框架：每美元有用工作量（Useful Work Per Dollar, UWP）

核心公式：

示例：

关键洞察： UWP 高的场景应该增加 AI 投入，UWP 低的场景应该优化或减少投入。

3.3 成果计价的实施步骤

步骤 1：定义业务价值

• 客服 Agent：每个解决的问题价值 $5（节省人工成本）
• 代码生成 Agent：每行有效代码价值 $0.10
• 数据分析 Agent：每个可执行洞察价值 $1000

步骤 2：测量 AI 支出

• 包括 Token 成本、API 调用成本、基础设施成本
• 按任务/按用户/按部门统计

步骤 3：计算 UWP

• UWP = 业务价值 / AI 支出
• 按场景、按时间段计算

步骤 4：优化决策

• UWP > 10：增加投入，扩大规模
• UWP 1-10：优化成本，提升效率
• UWP < 1：重新评估，可能不适合 AI

3.4 成果计价 vs Token 计价

UWP = 业务价值 / AI 支出

基于确定性代码分离和成果计价框架，以下是可落地的 Agent 成本优化策略。这些策略来自多个生产级 Agent 系统的实战经验，按实施难度分为三个层级。

4.1 入门级策略（立即可用）

策略 1：默认使用便宜模型

不是所有任务都需要最贵的模型。简单任务（分类、提取、格式化）使用便宜模型（如 GPT-4o-mini、DeepSeek），复杂任务（推理、生成、决策）使用贵模型（如 GPT-5.6、Claude 3.5）。

实施要点： 建立任务分类器，根据任务类型自动路由到不同模型。分类器本身可以是简单的规则引擎（基于关键词、输入长度、任务标签），不需要额外的模型调用。

预期节省：30-50%。 某电商客服 Agent 将 80% 的简单查询（订单状态、退货政策）路由到 GPT-4o-mini，仅 20% 的复杂问题（投诉处理、退款决策）使用 GPT-5.6，月成本从 $15,000 降至 $8,500。

策略 2：语义缓存

对相似输入复用之前的输出，避免重复调用模型。使用向量相似度判断"相似"（阈值 0.95+），缓存命中率通常在 20-40%。

实施要点： 选择合适的向量数据库（如 Pinecone、Weaviate），设计缓存过期策略（TTL 建议 24 小时），监控缓存命中率和输出质量。

预期节省：20-40%。 某知识问答 Agent 的缓存命中率达到 35%，因为很多问题本质相同但表述不同。

策略 3：上下文压缩

每次调用只携带必要历史，不是完整对话。使用摘要替代完整历史，或使用滑动窗口只保留最近 N 轮。

实施要点： 设计摘要生成策略（每 5 轮生成一次摘要），保留关键信息（用户偏好、已完成任务、待处理事项），丢弃无关信息（寒暄、重复确认）。

预期节省：10-30%。 某长对话 Agent（平均 20 轮）通过上下文压缩，将平均 Token 消耗从 8000 降至 3000。

4.2 进阶级策略（需要开发）

策略 4：确定性代码分离

识别可以用确定性代码替代的模型调用，实现数据格式转换、校验、路由等逻辑的代码版本。

实施步骤：

1. 审计现有工作流：列出 Agent 的每一步操作，标注每步的 Token 消耗和延迟
2. 分类每步操作：判断是"需要理解"还是"可规则化"——如果输入→输出有明确规则，就用代码
3. 实现代码版本：用确定性代码替代可规则化的步骤，做回归测试确保输出质量不下降
4. 监控和迭代：上线后监控输出质量和成本变化，持续优化

预期节省：50-90%。 如前文案例所示，某开发者通过分离数据库查询和格式化输出，将成本从 $0.15/请求降至 $0.009/请求。

策略 5：批量处理

将多个请求合并为一次批量调用，利用模型 API 的批量接口（如 OpenAI Batch API）。批量接口通常半价，且吞吐量更高。

实施要点： 设计请求缓冲机制（等待 100ms 或积累 10 个请求后批量发送），处理批量接口的异步特性（需要轮询或回调），确保批量请求的超时和重试逻辑正确。

预期节省：50%。 某数据分析 Agent 将每小时 600 次单独调用合并为 10 次批量调用，成本减半。

策略 6：异步处理

非紧急任务使用低谷算力（如夜间），利用模型 API 的异步接口。许多云服务商在低谷时段提供折扣。

实施要点： 区分任务的紧急程度（实时交互 vs 后台处理），设计任务队列和优先级调度，监控异步任务的完成时间和成功率。

预期节省：20-50%。 某报告生成 Agent 将非紧急的报告生成任务调度到夜间执行，利用低谷折扣节省 35% 成本。

4.3 高级策略（需要基础设施）

策略 7：模型路由

• 根据任务复杂度动态选择模型
• 简单任务→便宜模型，复杂任务→贵模型
• 需要构建任务复杂度评估系统
• 预期节省：40-70%

策略 8：模型蒸馏

• 用贵模型的输出训练便宜模型
• 在特定任务上达到接近贵模型的效果
• 需要持续的训练和评估
• 预期节省：70-95%

策略 9：本地部署

• 高频任务使用本地部署的开源模型
• 一次性投入，长期节省 API 成本
• 需要 GPU 基础设施
• 预期节省：80-99%（长期）

4.4 策略组合效果

Agent 成本优化不是一次性任务，而是持续的治理过程。

5.1 成本监控体系

三层监控架构：

关键监控指标详解：

• Token 消耗速率：每分钟消耗的 Token 数量，用于发现异常峰值。正常波动 ±20%，超过 50% 需告警。
• UWP（每美元有用工作量）：核心业务指标，反映 AI 投入的回报率。UWP 下降意味着成本优化影响了质量。
• 缓存命中率：语义缓存的有效性指标。命中率低于 10% 说明缓存策略需调整。
• 模型分布：各模型的使用比例。如果贵模型使用比例过高，说明任务路由策略需优化。

告警阈值设计：

5.2 成本治理组织

成本治理不是一个人的事，需要明确的角色分工和协作机制。

RACI 矩阵：

R=负责执行，A=最终问责，C=需咨询，I=需通知

协作机制：

• 每周成本评审会：AI 工程师 + 产品经理 + FinOps，review 上周成本、UWP 变化、优化效果
• 每月成本报告：FinOps 编制，CTO 审阅，包含成本趋势、ROI 分析、下月预算建议
• 季度成本战略：CTO 主持，制定下季度成本目标、投资计划（如本地部署 GPU）、技术路线图

5.3 成本优化文化

技术工具和监控体系只是基础，真正的成本优化需要建立团队文化。

最佳实践：

1. 成本意识：每个 AI 工程师都应了解 Token 成本。建议在新人入职时进行 Token 成本培训，让工程师理解每次模型调用的真实成本。

2. 成本评审：每次新功能上线前评估成本影响。类似代码评审，新功能必须通过成本评审才能上线——预估 Token 消耗、UWP 影响、是否需要优化策略。

3. 成本分享：定期分享成本优化经验和案例。建立内部知识库，记录成功的优化案例和失败教训。每月举办"成本优化分享会"，让团队互相学习。

4. 成本激励：将成本优化纳入绩效考核。设立"成本节约奖"，对显著降低成本的团队或个人给予奖励。但要注意：激励指标应是 UWP 提升，而非单纯的成本降低——避免团队为了省钱而牺牲质量。

Agent 成本工程的本质不是"省钱"，而是"花对钱"。

三个核心判断：

1. Token 计价已过时：用 Token 成本衡量 AI 价值是片面的，应该用 UWP（每美元有用工作量）
2. 确定性代码分离是关键：只让模型做模型擅长的事，其他都交给代码
3. 成本治理是持续过程：建立监控、组织和文化，而不是一次性优化

给不同读者的建议：

• Agent 开发者：立即实施入门级策略（便宜模型、缓存、压缩），然后逐步升级
• AI 产品经理：用 UWP 框架评估 AI 投资，而不是纠结于 Token 单价
• FinOps 负责人：建立 AI 成本监控和治理体系，将 AI 成本纳入企业 FinOps
• CTO：将 AI 成本优化作为技术战略的一部分，投资基础设施和人才培养

最后的思考： AI 成本工程的终极目标不是"零成本"，而是"每一美元都创造最大价值"。当 AI 从成本中心转变为价值中心，企业才能真正释放 AI 的潜力。

未来趋势展望： 2026 年下半年，我们预计 AI 成本治理将呈现三大趋势：(1) 模型价格继续下降——中国模型（如 Kimi K3、DeepSeek）的价格战将迫使 OpenAI、Anthropic 进一步降价，企业成本压力缓解但治理需求不减；(2) 确定性代码分离成为标配——随着 Agent 框架（如 LangGraph、AutoGen）内置成本优化功能，确定性代码分离将从"高级策略"变为"默认配置"；(3) UWP 成为行业标准——类似 SaaS 行业的 ARR（年度经常性收入），UWP 将成为衡量 AI 投资回报的标准指标，被纳入企业财务报告和投资者评估体系。

2026 年，让我们从 Token 计价走向成果计价。