简要回答
统一 API 网关通过意图识别把请求分到不同档位：简单任务走 Luna，常规企业场景走 Terra，复杂推理走 Sol。核心组件是意图分类器、档位路由器、成本计量器和降级 fallback 链，目标是在质量可接受的前提下把单位成本压下来。
标准回答
一、为什么需要多档位网关
模型供应商开始按能力分级定价后，如果所有流量都打最高档，成本会迅速失控；如果全部走低档，复杂任务质量又撑不住。统一网关的价值，是把「选哪一档」从业务代码里抽出来，变成可配置、可观测、可降级的基础设施能力。
二、四层架构设计
| 层级 | 职责 | 技术选型 |
|---|---|---|
| 意图识别 | 分析请求复杂度 | 轻量分类模型或规则引擎 |
| 档位路由 | 根据复杂度+预算选档 | 策略引擎 |
| 成本计量 | 实时统计 token 消耗和费用 | 流式计量 + Redis |
| 降级容错 | 高档位不可用时自动降级 | 熔断器 + fallback 链 |
三、路由策略示例
- 客服对话 / 文档摘要 → Luna（成本低，延迟低）
- 合同审查 / 代码 review → Terra（平衡质量和成本）
- 多步推理 / 复杂分析 → Sol（最强推理能力）
四、关键设计原则
- 默认档位可配置：由客户或项目配置默认档，并允许覆盖自动路由结果
- 决策可审计：每次路由都记日志，便于成本归因与复盘
- 预算硬约束：设置月度预算上限，超限自动降级到低档位
- 强制指定档位：提供 API 参数满足确定性需求，避免关键链路被自动路由改写
常见误区
⚠️ 常见踩坑
误区一：只背「按复杂度路由」概念，说不出意图识别、计量、降级怎么落地。
误区二：忽略成本控制，默认永远打最高档，最后预算被打穿。
误区三：没有 fallback，高档位故障时整条链路直接不可用。
追问
追问 1：如何处理不同档位的上下文窗口差异？Luna可能只支持8K而Sol支持128K
追问 2：多档位路由的成本优化效果如何量化？
可用三组指标量化。总成本对比：同一批请求分别跑自动路由和固定高档位，比较总费用。质量回归：用低档位处理原高档位任务，评估质量损失是否可接受。成本归因：按部门、项目、场景统计各档位消耗，找出过度使用高档位的热点。合理路由通常能显著降低 API 成本，但必须以质量门槛为前提，不能只看省钱。
🔗 相似问题
同一考点的不同问法，换着练更稳
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习
