94% Token 成本降低:确定性代码 + 模型判断分离
核心策略
将稳定的、可预测的步骤从 LLM 调用移到确定性代码。
实施方法
| 步骤类型 | 实现方式 | 示例 |
|---|---|---|
| 稳定步骤 | 确定性代码 | 解析、格式化、路由、验证 |
| 判断步骤 | LLM 调用 | 推理、创造、决策、摘要 |
效果
- Token 成本降低 94%
- 响应速度提升
- 输出质量更稳定
与 Harness Engineering 的关系
- 是 Harness Engineering 的核心实践之一
- 与 OpenAI "每美元有用工作量"理念一致
- 从 token 计价到成果计价的工程基础
AI Master 解读
核心事件
开发者通过确定性代码 + 模型判断分离降低 94% Token 成本。
行业影响
工程策略:
| 策略 | 说明 |
|---|---|
| 确定性代码 | 稳定步骤用代码实现(解析、格式化、路由) |
| 模型判断 | 只在需要推理/创造时调用 LLM |
| 分离原则 | 能用代码做的绝不用模型 |
AI Master 建议
这是 Harness Engineering 的核心实践。关注更多企业采用这一策略后的成本和质量数据。
📰 原始来源
https://github.com