Agent 基础设施经济学：长时推理时代的令牌工程学

2024 年看单价，2026 年看总账。 过去两年，大模型推理单价下降了约 99.7％——但企业的 AI 账单不降反升，同期增长了约 3 倍。这个看似矛盾的现象，根源在于使用模式发生了质变：从「一问一答」的聊天模式，转向「自主规划-执行-反思」的长时推理模式。

聊天模式与 Agent 模式的成本结构完全不同。 一次典型聊天请求消耗 200-2000 个 token，而一个多步骤 Agent 工作流——包含规划、工具调用、中间推理、自我纠错——单个任务可消耗数万乃至数百万 token。据 NavyaAI 2026 年成本报告（2026-06），Agent 工作流的令牌消耗是简单聊天交互的 50-500 倍，且 72％ 的生产 AI 成本隐藏在模型账单之外，分布在编排、检索、重试和可观测性环节。

这意味着什么？ 单纯追逐「每百万 token 最低价」已经不够。企业需要一套全新的经济学框架——令牌工程学（Token Engineering）——来理解、预测和优化 Agent 时代的真实成本。

核心论点： Agent 基础设施的竞争焦点正从「延迟优先」转向「吞吐优先」，从「单次推理最快」转向「长时任务最省」。理解这个转移，是做好 AI 成本治理的前提。

要管理 Agent 成本，首先需要建立正确的度量体系。传统的「每百万 token 价格（CPM）」只是冰山一角，完整的度量需要覆盖三个层次。

第一层：CPM（Cost Per Million Tokens）——模型层。 这是最直观的指标，表示每处理一百万个 token 的费用。不同模型的 CPM 差异巨大：开源模型（如 Llama 3 70B）自托管可低至 $0.15/M token，而前沿闭源模型（如 Claude Opus 4.7）可达 $15/M token。但 CPM 只是起点，不是终点。

第二层：CPT（Cost Per Task）——任务层。 一个 Agent 完成某个任务实际花了多少钱？这需要把 token 消耗乘数纳入计算。假设一个客服 Agent 平均需要 12 轮工具调用、3 次自我纠错、每次上下文窗口 8K token，那么一个「简单」的客服任务实际消耗约 120K token，即使用 $1/M token 的模型，单任务成本也有 $0.12——看似便宜，但乘以日均 10 万次调用就是 $12,000/天。

第三层：TCO（Total Cost of Ownership）——系统层。 据 NavyaAI 报告，72％ 的生产 AI 成本在模型账单之外，包括：向量数据库的检索成本、编排引擎的计算成本、失败重试的冗余成本、日志与可观测性的存储成本、以及工程团队的人力成本。只看模型 CPM 就像只看冰山露出水面的部分。

关键洞察： 企业决策者往往只关注 CPM，但真正决定账单的是 CPT × 任务量。一个 CPM 低但 token 消耗极高的架构，可能比 CPM 高但极精简的架构更贵。

为什么 Agent 的 token 消耗是聊天的 50-500 倍？这不是简单的「多问了几次」，而是架构层面的结构性差异。

乘数来源一：多轮推理链。 一个 Agent 完成任务不是单次推理，而是「规划 → 执行 → 观察 → 反思 → 再规划」的循环。每轮循环都携带完整上下文，而上下文在累积——第 5 轮的输入 token 包含了前 4 轮的全部输出。这意味着 token 消耗随推理深度超线性增长。

乘数来源二：Agent 间通信。 多 Agent 系统中，每个 Agent 发出的消息对其他 Agent 而言都是 token 成本。一个 5-Agent 协作系统，每轮内部通信就可能产生 5×5＝25 条消息，每条消息携带完整上下文。

乘数来源三：工具调用与检索增强。 Agent 每次调用外部工具（搜索引擎、代码解释器、数据库查询）都需要构造结构化 prompt 并解析返回结果，这些「辅助 token」往往比核心推理消耗更多。

乘数来源四：重试与纠错。 生产环境中 Agent 的输出需要验证，失败后重试。据 Spheron 2026 年推理成本报告（2026-06），重试和纠错可额外增加 30-80％ 的 token 消耗。

乘数来源五：状态维护。 长时运行的 Agent（运行数天甚至数周）需要持续维护状态——对话历史、中间结果、检查点。这些状态的序列化和恢复本身就是巨大的 token 开销。

上述五个乘数叠加，使得一个「简单」的长时推理任务——比如自动化代码审查——从初始输入的 2K token 膨胀到实际消耗的 500K-2M token，乘数达到 250-1000 倍。

传统 AI 推理基础设施为聊天而生。 聊天场景的核心需求是低延迟——用户期望秒级响应，因此 GPU 资源按「单次推理最快」优化，大量资源浪费在等待下一个请求上。

Agent 场景的需求完全不同。 一个运行数天的 Agent 不需要毫秒级响应，它需要的是：在给定预算内完成尽可能多的推理总量——即吞吐量优先。

据 Sail Research 官方博客（2026-06），该公司的核心理念是「从硅到 API 的紧密集成」，通过端到端优化将「每美元可获得的智能量」提升 10 倍。具体而言，Sail Research 的平台包含两个核心组件：优化推理栈（在现有芯片上最大化吞吐）和有状态沙箱环境（支持运行数天乃至数周）。Kleiner Perkins 领投其 $80M Series A，Sequoia 领投种子轮，估值达 $4.5 亿。

延迟优先 vs 吞吐优先的架构差异：

这个转型的深层含义： 现有的 AI 推理基础设施（如 vLLM、TGI）主要为延迟优化设计。Agent 时代需要全新的推理引擎——能处理长上下文、支持有状态执行、并在成本约束下最大化吞吐。这正是 Sail Research、Detail.dev 等公司押注的方向。

基于上述分析，我们提出 Agent 成本优化的四层模型。每一层都有独立的优化杠杆和度量指标。

第一层：模型层——智能路由与 deliberate selection。 不是所有任务都需要前沿模型。据 Oteemo 2026 年 AI 成本优化指南（2026-06），「对所有任务默认使用前沿模型，是最常见且最易纠正的 AI 成本膨胀原因之一。」核心策略是任务-模型匹配：简单分类用 7B 模型（$0.01/M token），复杂推理用 70B 模型（$0.2/M token），只有真正需要前沿能力的任务才调用 Opus 级模型（$15/M token）。实践中，智能路由可节省 60-80％ 的模型层成本。

第二层：运行时层——推理引擎优化。 包括 KV Cache 管理、连续批处理、量化部署（INT8/INT4）、推测解码（speculative decoding）等技术。一个 70B 模型的部署案例（Spheron 报告）通过运行时优化，将月成本从 $39K 降至 $16K，降幅达 59％。

第三层：基础设施层——架构选型。 自建 GPU 集群 vs 云推理 API vs 混合部署。关键决策变量是利用率：如果 GPU 利用率低于 60％，自建通常不如云 API；如果 Agent 工作负载稳定且可预测，自建 + 长期合约可节省 40-60％。

第四层：FinOps 层——治理与可观测性。 包括 token 预算分配、成本归因（按团队/产品/客户）、异常检测、以及预算告警。据 TechCrunch 报道（2026-06），Linux Foundation 已成立 Tokenomics Foundation，旨在为 AI token 建立类似 FinOps 的成本纪律标准。FinOps Foundation 执行董事 J.R. Storment 指出：「四五月份开始，不断有企业反映：『天哪，我们 2026 年全年的 token 预算在四月就已经超支 3 倍了。』」

四层优化的优先级： 模型层（见效最快）→ 运行时层（技术杠杆最大）→ FinOps 层（治理基础）→ 基础设施层（长期投入最大但回报也最持久）。

2026 年上半年，Agent 基础设施赛道迎来融资井喷。以下是值得关注的核心玩家及其定位。

推理优化类：

• Sail Research（$80M，估值 $4.5 亿）：端到端 Agent 推理平台，从硅到 API 紧密集成，专注长时推理任务的吞吐优化。投资方包括 Kleiner Perkins、Sequoia、Redpoint Ventures，以及 Alphabet 董事长 John Hennessy 和 Intel CEO Lip-Bu Tan 等天使投资人。
• Spheron Network：去中心化 GPU 推理网络，提供 70B 模型部署的成本优化方案（$39K → $16K/月案例）。

成本治理类：

• Amnic：无代理（agentless）只读 FinOps 平台，通过虚拟标签引擎将多云、Kubernetes 和 AI token 支出归因到具体产品、团队和功能。
• Finout：基于专利 MegaBill 层的企业 FinOps 平台，标准化云、Kubernetes、SaaS 和 AI 供应商支出。

编排与状态管理类：

• Detail.dev：Agent 工作流编排平台，与 Sail Research 推理栈深度集成。
• Parallel Web：长时 Agent 部署平台，支持有状态沙箱运行。

生态格局判断： Agent 基础设施正在形成三层栈——底层是推理引擎（Sail Research 等），中间是编排与状态管理（Detail.dev 等），上层是成本治理与可观测性（Amnic、Finout 等）。这个三层栈的成熟度将直接决定企业 Agent 落地的经济性。

理论框架落地需要可执行的治理机制。以下是一套经过实践验证的企业 Agent 成本治理框架，分为五个阶段。

阶段一：可观测性建设（第 1-2 周）。 部署 token 使用追踪系统，覆盖所有模型调用点。关键指标：每任务 token 消耗、每团队月度 token 预算执行率、重试率。工具选择：Amnic（多云归因）或开源方案（Langfuse + 自定义 dashboard）。建立基线数据，为后续优化提供依据和参考点。

阶段二：基线建立与预算分配（第 3-4 周）。 基于可观测性数据，建立各业务线的 token 消耗基线。按「任务类型 × 模型层级」矩阵分配月度预算。核心原则：预算按任务级（CPT）而非模型级（CPM）分配。

阶段三：智能路由部署（第 5-8 周）。 实施任务-模型匹配策略。部署路由层：简单任务（分类、提取）→ 小模型；中等任务（摘要、翻译）→ 中模型；复杂任务（推理、规划）→ 前沿模型。预期效果：模型层成本降低 60-80％。

阶段四：架构优化（第 9-16 周）。 基于用量数据，评估推理引擎选型（自建 vs 云 API vs 混合）。部署连续批处理、KV Cache 优化、量化部署等运行时优化。对于稳定高用量场景，评估长期合约或自建 GPU 集群。

阶段五：持续治理（长期）。 建立月度成本审查机制，设置预算告警阈值（建议 80％ 预警、100％ 硬限）。参与行业标准建设——Linux Foundation Tokenomics Foundation 正在制定 token 成本分类标准。定期评估新模型的成本效益比，动态调整路由策略。建立跨部门的 AI 成本治理委员会，确保技术、财务、业务三方协同。

关键成功因素： 成本治理不是技术项目，而是组织项目。需要 CFO 办公室参与预算审批、工程团队配合路由策略、产品团队理解 token 成本对功能经济性的影响。据 The Economist 报道（2026-06-14），AI Agent 正在推高企业成本，「企业正在争相管理 spiralling bills」——没有治理框架的企业将在这场成本竞赛中落后。

基于当前技术演进和资本流向，我们对 Agent 基础设施的未来做出以下判断。

判断一：推理引擎将从「延迟竞赛」转向「吞吐竞赛」。 2024-2025 年的基准测试聚焦于「谁的首 token 延迟最低」，2026-2027 年将转向「谁的每美元 token 总量最高」。Sail Research 的融资成功（$80M，Sequoia + Kleiner Perkins）标志着资本已经押注这个方向。

判断二：Token 成本归因将成为企业标配。 正如 2018-2020 年云成本归因（Cloud FinOps）成为企业标配，2026-2027 年 token 成本归因将经历同样的普及曲线。Linux Foundation Tokenomics Foundation 的成立是标志性事件。

判断三：「有状态沙箱」将成为 Agent 基础设施的标准组件。 长时运行的 Agent 需要持久化状态、检查点恢复、跨会话记忆。Sail Research 的有状态沙箱、Detail.dev 的编排引擎都在解决这个需求。预计到 2027 年，所有主流 Agent 平台都将内置状态管理。

判断四：成本优化将催生「模型即服务」的新定价模式。 当前的按 token 计费模式不适合 Agent 场景——它鼓励供应商增加不必要的 token 消耗。预计将出现「按任务计费」「按结果计费」等新定价模式，将成本风险从买方转移到卖方。

判断五：开源推理引擎将追赶商业方案。 正如 vLLM 和 Ollama 在聊天推理时代缩小了与商业方案的差距，Agent 推理领域也将出现开源替代。但 12-18 个月内，商业方案（如 Sail Research）仍将保持性能和成本优势。

对企业的建议： 现在就开始建设 token 成本治理能力——可观测性、预算机制、路由策略。不要等到 Agent 大规模部署后才补课，那时成本已经失控。正如 FinOps Foundation 的经验所示，成本纪律的建设永远比成本失控的补救更便宜。

补充观察： 值得注意的是，2026 年第二季度的多个融资事件（Sail Research $80M、Detail.dev 种子轮）均指向同一个投资主题——Agent 基础设施的「吞吐优先」转型。这与 2024-2025 年资本追逐「低延迟推理」的热点形成鲜明对比。资本流向的变化印证了工作负载特征的根本转变。