标准回答
一、背景：企业 AI 支出正在失控
随着 LLM 大规模落地，不少企业出现 AI 预算超支、用量缺乏管控的现象：团队各自调用旗舰模型、缺少成本归因，甚至出现为冲内部用量指标而产生的无意义调用。趋势是从"Token 最大化"转向"效率优先"——在守住质量的前提下控成本。（注：面试中引用具体百分比/公司数字前务必核实来源，宁可讲清机制也不要背诵无法证实的统计。）
二、系统架构（四层）
第一层：预算网关（Budget Gateway）
- 每个团队/项目配置月度 Token 预算上限，支持分级（基础/标准/旗舰）
- 请求经过网关时先扣减预算余额，超额后自动降级到免费/低成本模型或拒绝
- 类似 API Gateway 的 rate limiting，但维度是 Token 成本而非 QPS
第二层：智能路由（Model Router） - 用轻量分类器（<100M 参数）判断请求难度：简单问答→Flash/SLM、复杂推理→旗舰模型
- 路由策略：成本敏感场景优先小模型，质量敏感场景（如代码生成、法律文档）才用大模型
- 参考 OpenRouter 的模型市场，按性价比动态调整路由权重
第三层：缓存层（Cache Layer） - 精确缓存：相同 prompt+temperature=0 的请求直接返回
- 语义缓存：embedding 相似度 > 0.95 的请求复用答案（需二次校验关键实体）
- Prompt 前缀缓存：复用 system prompt 和 few-shot 的 KV Cache，降首 Token 延迟和成本
第四层：可观测性（Observability） - 按部门/模型/任务类型实时统计 Token 消耗和成本
- 异常检测：某团队 Token 用量突增 3x → 自动告警 + 临时降级
- 周报：成本趋势、模型使用分布、缓存命中率、质量评测分数
三、质量守底
不能无脑降本——设评测集（每模型每任务 50-100 条），路由降级后质量下降 >5% 自动回退到上一级模型。经验上分级支出上限比"一刀切限额"更有效，既能控成本又不至于误伤关键任务。
常见误区
⚠️ 常见踩坑
误区一：容易答偏的地方：不要一刀切全换小模型省钱——盲目降级导致质量崩塌、用户投诉、更多人工兜底，反而更贵。正确做法是按请求难度路由，用评测集守质量底线，超额降级而非超额阻断。
追问
追问 1：模型路由的分类器本身会不会成为延迟瓶颈？
分类器用 <100M 参数的小模型，推理延迟 <5ms（CPU 即可），相比大模型 1-5s 的响应可忽略。也可用规则引擎（按 prompt 长度/关键词/用户角色）做粗粒度路由，零额外延迟。
追问 2：如何防止部门间"预算套利"（把高成本任务拆成多个低成本请求绕过上限）？
网关层按"语义请求"去重（同一 session 内相似 prompt 合并计费），同时设日/周/月三级预算，短期突增也会触发告警。关键指标是"有效输出/Token 消耗"而非单纯 Token 数。
追问 3：开源模型（如 DeepSeek）vs 闭源 API 的 TCO 如何对比？
TCO = API 费用 + 部署运维成本 + 数据安全合规成本。开源模型自部署 GPU 成本约 $0.5-2/百万 Token（含电费折旧，量级随硬件与利用率波动），闭源 API 约 $3-15/百万 Token；但自部署需 MLOps 团队、数据隔离、模型更新。一个值得关注的中间路线是"托管式开源"——通过云厂商/推理平台按 API 计费、底层却跑 DeepSeek 等开源模型，省去自建集群又享受开源的低单价，近年份额上升较快，常成为性价比的折中选择。（具体份额数字请以平台官方披露为准。）
🔗 相似问题
同一考点的不同问法，换着练更稳
延伸学习
按主题分类的相关资源，便于系统复习