文章摘要
2026 年 7 月 18 日，Anthropic 工程师、Claude Code 创建者 Boris Cherny 提出了一个衡量 AI 成功的新框架。他认为，企业过度关注 token 消耗（token burn）作为 AI 投资回报的指标，忽视了真正的价值创造。本文从框架解析、指标对比、实施路径、行业案例四个维度展开分析。
一、引言：Token Burn 不是 AI 成功的指标
2026 年 7 月 18 日，Business Insider 发表了一篇题为《Claude Code's creator offers a better way to measure AI success than token burn》的报道。
文章引用了 Anthropic 工程师 Boris Cherny 的观点：企业过度关注 token 消耗（token burn）作为 AI 投资回报的指标，这是一种误导。
核心观点：
"Returns on AI investments can take various forms beyond token burn, such as engineers generating code faster."
为什么这很重要？
2026 年，企业在 AI 工具上的投入已经达到数十亿美元。Claude Code、Cursor、GitHub Copilot 等 AI 编码工具的订阅费用不菲。企业需要衡量这些投资的回报。
但如何衡量？
很多企业的做法是：看 token 消耗量。他们认为，token 消耗越多，说明 AI 使用越充分，投资回报越高。
Boris Cherny 反对这种观点。
他认为，token 消耗只是一个过程指标，不是结果指标。真正的 AI 成功应该看业务结果，而不是 token 消耗。
本文分析框架：
背景补充： Boris Cherny 是 Claude Code 的创建者，对 AI 编码工具的使用场景有深刻理解。他的观点来自与大量企业用户的交流。
1.1 什么是 Token Burn？
Token Burn 指的是企业在使用 AI 服务时消耗的 token 数量。每次 AI 调用都会消耗 token，token 消耗通常按量计费。企业认为 token 消耗越多，AI 使用越充分。
但这种逻辑存在根本性缺陷。token 消耗只是一个过程指标（Process Metric），不是结果指标（Outcome Metric）。过程指标衡量活动本身，结果指标衡量业务成果。两者之间存在本质区别。
1.2 为什么 Token Burn 不是好指标？
首先，Token Burn 容易被"游戏化"。如果以 token 消耗作为 KPI，工程师可能会用 AI 做不需要 AI 的任务，故意让 AI 生成冗长的回答，或者重复调用 AI 以消耗更多 token。这些行为增加了 token 消耗，但没有创造实际价值。
其次，Token Burn 忽视了效率提升。AI 的真正价值在于效率提升。但如果 AI 让任务变得更高效，token 消耗可能反而减少。例如，一个工程师原本需要 10 小时完成的任务，使用 AI 后只需要 2 小时。Token 消耗减少了，但实际价值增加了。如果只看 token 消耗，会得出错误的结论：AI 使用减少了。
第三，Token Burn 与业务成果脱节。token 消耗高不代表业务成果好。工程师可能消耗大量 token 生成大量低质量代码，也可能消耗少量 token 解决关键问题。前者 token burn 高但价值低，后者 token burn 低但价值高。
二、Token Burn 指标的局限性
Token Burn 为什么不是好的 AI 成功指标？
2.1 什么是 Token Burn？
Token Burn（token 消耗） 是指企业在使用 AI 服务时消耗的 token 数量。
2.2 Token Burn 的问题
1. 过程指标 vs 结果指标
Token Burn 是过程指标（Process Metric），不是结果指标（Outcome Metric）。
- 过程指标：衡量活动本身（如 token 消耗、API 调用次数）
- 结果指标：衡量业务结果（如代码产出、效率提升、成本节约）
问题： 过程指标高不等于结果好。你可以消耗大量 token，但没有产生实际价值。
示例：
| 场景 | Token Burn | 实际价值 |
|---|---|---|
| 工程师用 AI 快速生成高质量代码 | 高 | 高 |
| 工程师用 AI 生成大量低质量代码 | 高 | 低 |
| 工程师用 AI 做简单重复任务 | 中 | 低 |
| 工程师用 AI 解决复杂问题 | 中 | 高 |
2. Token Burn 可以被"游戏化"
如果以 token 消耗作为 KPI，工程师可能会：
- 用 AI 做不需要 AI 的任务
- 故意让 AI 生成冗长的回答
- 重复调用 AI 以消耗更多 token
这些行为增加了 token 消耗，但没有创造实际价值。
3. 忽视了效率提升
AI 的真正价值在于效率提升。但如果 AI 让任务变得更高效，token 消耗可能反而减少。
示例：
一个工程师原本需要 10 小时完成的任务，使用 AI 后只需要 2 小时。
- Token 消耗：减少了（因为使用时间短了）
- 实际价值：增加了（因为效率提升了）
如果只看 token 消耗，会得出错误的结论：AI 使用减少了。
2.3 JPMorgan 的案例
Business Insider 的报道还引用了 JPMorgan CEO Jamie Dimon 的观点：
"AI has reduced jobs by up to 40% in some areas, but it's not making JPMorgan dramatically cheaper to run."
（AI 在某些领域减少了 40% 的工作岗位，但并没有让 JPMorgan 的运营成本大幅降低。）
这个案例说明了什么？
AI 可以提高效率（减少岗位），但不一定降低成本（因为 AI 本身有成本）。
这进一步证明：单一的 token 消耗指标是不够的。
三、Boris Cherny 的四步衡量框架
如何正确衡量 AI 成功？
Boris Cherny 提出了一个四步框架，帮助企业从 token burn 转向真正的价值衡量。
3.1 第一步：定义业务目标
核心问题： 你用 AI 解决什么问题？
示例：
| 业务目标 | 描述 |
|---|---|
| 提高代码产出 | 工程师在相同时间内产出更多代码 |
| 提高代码质量 | 代码缺陷率降低 |
| 缩短开发周期 | 从需求到上线的时间缩短 |
| 降低开发成本 | 相同产出下的人力成本降低 |
3.2 第二步：选择结果指标
核心问题： 什么指标能反映业务目标的达成？
示例：
| 业务目标 | 结果指标 |
|---|---|
| 提高代码产出 | 代码行数、PR 数量、功能点数量 |
| 提高代码质量 | 缺陷率、代码审查通过率、测试覆盖率 |
| 缩短开发周期 | 需求到上线的平均时间 |
| 降低开发成本 | 每功能点的人力成本 |
3.3 第三步：建立基线
核心问题： 使用 AI 前的指标是多少？
实施要点：
- 在引入 AI 工具前，记录当前的业务指标
- 确保基线数据准确、可比较
- 考虑季节性因素（如节假日、促销季）
示例：
| 指标 | 基线值 |
|---|---|
| 工程师平均每天提交 PR | 3 个 |
| 代码缺陷率 | 5% |
| 需求到上线平均时间 | 10 天 |
| 每功能点人力成本 | $500 |
注意事项： 基线数据的采集周期建议不少于两周，以排除偶发波动。同时，应确保采集期间没有引入其他可能影响指标的变量，否则后续对比将失去意义。
3.4 第四步：持续监测与调整
核心问题： AI 引入后，指标如何变化？
实施要点：
- 定期（如每月）监测结果指标
- 与基线对比，评估 AI 的影响
- 根据结果调整 AI 使用策略
示例：
| 指标 | AI 引入后 3 个月 | 变化 |
|---|---|---|
| 工程师平均每天提交 PR | 5 个 | +67% |
| 代码缺陷率 | 4% | -20% |
| 需求到上线平均时间 | 7 天 | -30% |
| 每功能点人力成本 | $350 | -30% |
结论： AI 投资回报显著
3.5 框架总结
| 步骤 | 核心问题 | 输出 |
|---|---|---|
| 1. 定义业务目标 | 用 AI 解决什么问题？ | 业务目标列表 |
| 2. 选择结果指标 | 什么指标反映目标达成？ | 结果指标列表 |
| 3. 建立基线 | 使用 AI 前的指标是多少？ | 基线数据 |
| 4. 持续监测 | AI 引入后指标如何变化？ | 评估报告 |
3.6 框架的可视化
下面的流程图展示了四步框架的逻辑关系：
这个框架的关键在于持续迭代。AI 的效果不是一次性的，需要不断监测、评估和优化。企业应该建立常态化的评估机制，而不是"一锤子买卖"。
四、指标对比：Token Burn vs 实际价值
让我们通过对比，更清楚地理解两种指标体系的差异。
4.1 指标类型对比
| 维度 | Token Burn 指标 | 实际价值指标 |
|---|---|---|
| 指标类型 | 过程指标 | 结果指标 |
| 衡量对象 | AI 使用量 | 业务成果 |
| 数据来源 | AI 服务账单 | 业务系统 |
| 更新频率 | 实时 | 定期（周/月） |
| 可操控性 | 高（容易游戏化） | 低（反映真实结果） |
| 业务相关性 | 低 | 高 |
4.2 场景对比
场景 1：代码生成
| 工程师 | Token Burn | 代码产出 | 代码质量 | 实际价值 |
|---|---|---|---|---|
| A | 100k tokens/天 | 1000 行/天 | 缺陷率 2% | 高 |
| B | 100k tokens/天 | 500 行/天 | 缺陷率 8% | 低 |
Token Burn 指标下： A 和 B 看起来一样（都是 100k tokens/天）
实际价值指标下： A 的价值明显高于 B
场景 2：问题解答
| 工程师 | Token Burn | 问题解决时间 | 解决方案质量 | 实际价值 |
|---|---|---|---|---|
| C | 50k tokens/次 | 10 分钟 | 高质量 | 高 |
| D | 100k tokens/次 | 30 分钟 | 低质量 | 低 |
Token Burn 指标下： D 看起来更好（消耗更多 token）
实际价值指标下： C 的价值明显高于 D
4.3 指标体系设计
一个好的 AI 成功衡量体系应该包括：
结果指标（Outcome Metrics）
- 代码产出（PR 数量、代码行数）
- 代码质量（缺陷率、测试覆盖率）
- 开发效率（需求到上线时间）
效率指标（Efficiency Metrics）
过程指标（Process Metrics）
- Token 消耗（作为参考，不是核心）
- API 调用次数
- 活跃用户数
质量指标（Quality Metrics）
- 用户满意度
- AI 输出采纳率
- 代码审查通过率
4.4 指标权重建议
| 指标类型 | 权重 | 说明 |
|---|---|---|
| 结果指标 | 50% | 核心业务成果 |
| 效率指标 | 25% | AI 使用效率 |
| 质量指标 | 20% | AI 输出质量 |
| 过程指标 | 5% | 参考信息 |
4.5 指标体系的演进
企业在不同阶段应该关注不同的指标：
初期（1-3 个月）： 企业刚开始引入 AI，主要关注使用情况和过程指标。这个阶段的目标是让工程师熟悉工具，建立使用习惯。
中期（3-6 个月）： 企业开始看到效率提升，应该关注效率指标，如每 token 的产出。这个阶段的目标是优化使用方式，提高 AI 使用效率。
成熟期（6-12 个月）： 企业已经积累了丰富的使用经验，应该关注结果指标，如代码质量、开发效率。这个阶段的目标是最大化 AI 的业务价值。
优化期（12 个月+）： 企业建立了完善的指标体系，能够全面评估 AI 的价值。这个阶段的目标是持续优化，保持竞争优势。
五、实施路径：如何在企业中落地
将框架转化为行动。
5.1 第一阶段：准备（1-2 周）
1. 组建团队
- AI 项目负责人
- 业务部门代表
- 数据分析师
- 工程师代表
2. 定义业务目标
与业务部门沟通，明确 AI 要解决的问题：
- 提高代码产出？
- 提高代码质量？
- 缩短开发周期？
- 降低开发成本？
3. 选择结果指标
根据业务目标，选择可衡量的结果指标：
- 代码行数、PR 数量
- 缺陷率、测试覆盖率
- 需求到上线时间
- 每功能点成本
5.2 第二阶段：基线建立（2-4 周）
1. 数据收集
收集 AI 引入前的业务数据：
- 过去 3-6 个月的代码产出数据
- 过去 3-6 个月的代码质量数据
- 过去 3-6 个月的开发周期数据
2. 数据分析
分析基线数据：
- 平均值、中位数、标准差
- 季节性趋势
- 异常值处理
3. 基线确认
与业务部门确认基线数据：
- 数据准确性
- 可比性
- 预期改进幅度
5.3 第三阶段：AI 引入（1-2 周）
1. 工具选择
根据业务目标选择合适的 AI 工具：
- 代码生成：Claude Code、Cursor、GitHub Copilot
- 代码审查：CodeRabbit、PR-Agent
- 测试生成：CodiumAI、Diffblue
2. 培训计划
为工程师提供培训：
- 工具使用方法
- 最佳实践
- 常见误区
3. 试点项目
选择试点项目：
- 选择 1-2 个团队
- 设定明确的试点目标
- 定义试点成功标准
5.4 第四阶段：监测与优化（持续）
1. 数据监测
定期（每周/每月）收集数据：
- 结果指标
- 效率指标
- 质量指标
2. 效果评估
与基线对比，评估 AI 的效果：
- 指标改善幅度
- 投资回报率（ROI）
- 用户满意度
3. 策略优化
根据评估结果优化策略：
- 调整 AI 工具配置
- 优化使用流程
- 加强培训
5.5 实施时间线
| 阶段 | 时间 | 主要任务 |
|---|---|---|
| 准备 | 1-2 周 | 组建团队、定义目标、选择指标 |
| 基线建立 | 2-4 周 | 数据收集、分析、确认 |
| AI 引入 | 1-2 周 | 工具选择、培训、试点 |
| 监测优化 | 持续 | 数据监测、效果评估、策略优化 |
六、行业案例：AI 成功衡量的最佳实践
看看其他企业是如何衡量 AI 成功的。
6.1 案例 1：Uber
背景： Uber 是 Claude Code 的重度用户，但其全年 AI 编码预算已耗尽。
衡量方式：
- 结果指标：代码产出、功能上线速度
- 效率指标：每 token 的代码产出
- 质量指标：代码缺陷率
经验教训：
6.2 案例 2：JPMorgan
背景： JPMorgan CEO Jamie Dimon 表示 AI 已减少某些领域 40% 的岗位，但运营成本未大幅降低。
衡量方式：
- 结果指标：岗位减少比例、处理速度
- 成本指标：AI 成本 vs 人力成本节约
- 质量指标：错误率、合规性
经验教训：
- AI 可以提高效率，但不一定降低成本
- 需要考虑 AI 本身的成本
- 长期 ROI 可能优于短期 ROI
6.3 案例 3：微软
背景： 微软要求部分员工从 Claude Code 迁移到 Copilot CLI。
衡量方式：
- 结果指标：代码产出、开发效率
- 工具对比：Claude Code vs Copilot CLI
- 用户满意度：工程师反馈
经验教训：
- 不同 AI 工具适合不同场景
- 用户满意度是重要指标
- 工具迁移需要考虑切换成本
6.4 案例对比
七、常见误区与避坑指南
避免这些常见错误。
7.1 误区 1：Token Burn = AI 成功
错误逻辑： token 消耗越多，AI 使用越充分，投资回报越高。
正确理解： token 消耗只是过程指标，业务成果才是结果指标。
避坑建议：
7.2 误区 2：AI 使用越多越好
错误逻辑： AI 应该用于所有任务，越多越好。
正确理解： AI 适合某些任务，不适合其他任务。过度使用 AI 可能适得其反。
避坑建议：
- 识别 AI 擅长的任务（重复性、模式识别）
- 识别 AI 不擅长的任务（创造性、复杂决策）
- 根据任务特性选择合适的工具
7.3 误区 3：忽视质量只看数量
错误逻辑： 代码产出越多越好，AI 生成代码越快越好。
正确理解： 代码质量比数量更重要。低质量代码会增加维护成本。
避坑建议：
- 建立代码质量标准（缺陷率、测试覆盖率）
- 代码审查不能因为 AI 生成而放松
- 定期评估 AI 生成代码的质量
7.4 误区 4：一次性评估
错误逻辑： AI 引入后立即评估效果，一次评估定终身。
正确理解： AI 效果需要时间显现，需要持续监测和优化。
避坑建议：
- 设定合理的评估周期（至少 3 个月）
- 定期（每月）监测指标变化
- 根据评估结果持续优化
7.5 误区总结
| 误区 | 错误逻辑 | 正确理解 |
|---|---|---|
| Token Burn = AI 成功 | 过程指标 = 结果 | 过程指标 ≠ 结果 |
| AI 越多越好 | 数量 = 价值 | 适用性 = 价值 |
| 只看数量 | 数量 > 质量 | 质量 ≥ 数量 |
| 一次性评估 | 短期 = 长期 | 需要持续评估 |
八、结论：AI 成功衡量的正确姿势
Boris Cherny 的框架为企业提供了正确的 AI 成功衡量方法。
8.1 核心要点回顾
- Token Burn 的局限性：过程指标，容易被游戏化，忽视效率提升
- 四步框架：定义业务目标 → 选择结果指标 → 建立基线 → 持续监测
- 指标对比：结果指标（50%）> 效率指标（25%）> 质量指标（20%）> 过程指标（5%）
- 实施路径：准备（1-2 周）→ 基线建立（2-4 周）→ AI 引入（1-2 周）→ 监测优化（持续）
8.2 给企业管理者的建议
1. 立即行动
- 审视当前的 AI 衡量指标
- 如果过度关注 token burn，立即调整
- 建立以业务成果为核心的衡量体系
2. 长期规划
- AI 成功衡量是一个持续过程
- 需要定期评估和优化
- 需要与业务目标保持一致
3. 文化建设
- 培养数据驱动的文化
- 鼓励工程师反馈 AI 使用体验
- 建立 AI 最佳实践分享机制
8.3 给工程师的建议
1. 关注价值
- 不要只关注 token 消耗
- 关注 AI 带来的实际价值
- 用 AI 解决真正的问题
2. 保证质量
- AI 生成的代码需要审查
- 不要为了数量牺牲质量
- 建立个人代码质量标准
3. 持续学习
- 学习 AI 工具的最佳实践
- 了解 AI 的能力和局限
- 分享使用经验
8.4 未来展望
短期（2026-2027）：
- 更多企业采用 Boris Cherny 的框架
- AI 成功衡量工具涌现
- 行业标准逐步形成
中期（2027-2028）：
- AI ROI 衡量成为企业管理的核心能力
- AI 工具与业务系统深度集成
- 数据驱动的 AI 决策成为常态
长期（2028+）：
- AI 成功衡量与业务战略完全融合
- AI 投资回报可预测、可优化
- AI 成为企业核心竞争力的关键
8.5 总结
Boris Cherny 的核心观点可以概括为一句话：不要问"我们用了多少 AI"，而要问"AI 为我们创造了多少价值"。
Token Burn 是一个过时的、误导性的指标。它衡量的是投入，而不是产出；它关注的是过程，而不是结果。在 AI 投资日益增长的今天，企业需要更聪明、更科学的衡量方法。
四步框架提供了这样一个方法：从业务目标出发，选择结果指标，建立基线，持续监测。这个方法简单、实用、可操作。
最终，AI 成功的衡量标准不是我们消耗了多少 token，而是我们创造了多少价值。这个价值可能是更快的开发速度、更高的代码质量、更低的开发成本，或者更好的用户体验。无论是什么，它都应该是可衡量的、可追踪的、可优化的。
记住：衡量什么，就得到什么。如果你衡量 token 消耗，你就会得到 token 消耗。如果你衡量业务价值，你就会得到业务价值。
8.6 框架全景图
下面的图表展示了从 Token Burn 到价值衡量的完整转变路径：
这个框架的核心在于持续迭代。AI 的价值衡量不是一次性任务，而是一个持续改进的过程。企业需要建立常态化的评估机制，不断监测、评估和优化 AI 的使用效果。
8.7 关键洞察
在实施这个框架时，有三个关键洞察需要牢记：
第一，过程指标不等于结果指标。 Token Burn 告诉你使用了多少 AI，但不能告诉你 AI 创造了多少价值。就像衡量员工绩效不能只看工作时长，而要看工作成果一样。
第二，效率提升可能表现为 token 消耗下降。 如果 AI 让任务变得更高效，使用时间短了，token 消耗自然会减少。这是好事，不是坏事。错误的指标会让你得出错误的结论。
第三，AI 价值需要多维度衡量。 不能只看单一指标，而要建立包括结果指标、效率指标、质量指标在内的综合体系。这样才能全面评估 AI 的真实价值。
这三个洞察是理解 Boris Cherny 框架的基础，也是企业成功实施 AI 价值衡量的关键。
参考资料：
- Business Insider. Claude Code's creator offers a better way to measure AI success than token burn. 2026-07-18.
- AOL. Jamie Dimon says AI already reduced jobs in some areas by 40%. 2026-07-18.
- Anthropic. Claude Code Documentation. 2026.
- McKinsey. The state of AI in 2026. 2026.
🎯 相关面试题
结合本篇技术观点，备战 AI 岗位面试。
- 中级开放高频查看详解 →
如何衡量 AI 编码工具的投资回报？超越 token burn
2026 年 7 月 Anthropic Claude Code 创建者 Boris Cherny 提出 AI 成功衡量框架：超越传统的 token burn 指标，关注任务完成率、首次通过率、开发者满意度和代码维护成本。本题探讨如何真正衡量 AI 编码工具的投资回报。
- 中级开放高频查看详解 →
如何用 AI 编程助手（Copilot / Claude Code）高效且安全地开发？
清晰上下文+规范驱动，小步生成+人审，AI 写测试样板，自己把关设计与安全，配合 lint/CI。
- 高级开放查看详解 →
AI 是否可能具有意识？如何判断？从 Anthropic 宪法讨论出发
2026 年 7 月 Anthropic 宪法正式承认 Claude 可能具有"道德患者地位"，这是 AI 行业首次在公司级政策文件中讨论 AI 的道德地位。本题从 Anthropic 宪法出发，探讨 AI 意识的可能性、判断标准和伦理影响。
- 中级概念查看详解 →
Computer Use 是什么？它的原理是什么？
Computer Use 是 Anthropic 2024 年推出的能力，让模型像人一样操作电脑图形界面：循环「截屏-理解-输出鼠标键盘坐标指令-执行-再截屏」，可自动化无 API 的 GUI 任务，但慢、易错且有安全风险。2026 年 6 月，Google 将 Computer Use 内置进 Gemini 3.5 Flash（OSWorld 得分 78.4），Microsoft Copilot Studio CUA 正式 GA。
