简要回答
四层路由架构——任务分析层提取任务特征（推理深度、多模态、延迟、上下文长度），模型画像层建立能力-成本矩阵，路由决策层用规则 + 轻量分类器做选择，降级层处理模型不可用的 fallback。核心约束：路由决策本身必须快（<50ms），不能成为性能瓶颈。
标准回答
一、为什么需要模型路由
GPT-5.6 发布 Sol / Terra / Luna 三模型矩阵，标志着「一个模型打天下」时代结束：
- Sol：推理能力最强，但价格最高、限量发布
- Terra：原生多模态（文本+图像+音频），均衡型
- Luna：价格最低、速度最快，但推理深度有限
不同任务的最优模型不同——简单问答用 Luna 足够，复杂推理必须上 Sol。手动选择不可扩展，自动路由成为刚需。
二、四层路由架构
1. 任务分析层
从输入中提取路由所需的特征维度：
- 推理深度：简单检索 vs 多步推理 vs 数学证明
- 多模态需求：纯文本 / 需要图像理解 / 需要音频处理
- 延迟容忍度：实时对话（<2s）vs 离线批处理（分钟级可接受）
- 上下文长度：短对话（<4K）vs 长文档分析（>100K）
实现方式：轻量特征提取器（规则 + 小模型），不能引入额外大模型调用。
2. 模型画像层
为每个模型建立能力-成本矩阵：
| 模型 | 推理 | 多模态 | 速度 | 成本 | 可用性 |
|---|---|---|---|---|---|
| Sol | ★★★★★ | ★★★ | ★★ | $$$$ | 限量 |
| Terra | ★★★★ | ★★★★★ | ★★★ | $$$ | 开放 |
| Luna | ★★★ | ★★ | ★★★★★ | $ | 开放 |
画像数据来自 benchmark + 实际生产反馈，定期更新（模型升级后画像会变）。
3. 路由决策层
混合策略：
- 简单任务（特征明确）→ 规则匹配，如「纯文本 + 低延迟 + 简单问答 → Luna」，耗时 <5ms
- 复杂任务（特征模糊、多维度冲突）→ 轻量分类器（如小型 XGBoost），耗时 <50ms
- 高价值任务（客户付费、关键业务）→ 跳过路由，直接用最强模型
4. 降级层
首选模型不可用时自动 fallback：
- Sol 限量发布 → 降级到 Terra（推理次优但可用）
- Terra 过载 → 降级到 Luna（牺牲质量保可用性）
- 所有模型异常 → 返回缓存结果或排队等待
降级策略预先定义，不能运行时临时决策。
三、关键设计原则
- 路由决策必须快：<50ms 是硬约束，路由本身不能成为性能瓶颈
- 不硬编码单一模型：路由表可配置，新增模型只需更新画像，不改路由逻辑
- 可观测性：每次路由决策记录（任务特征 → 选择模型 → 实际耗时 → 用户反馈），用于持续优化
常见误区
⚠️ 常见踩坑
误区一：只看成本不看质量——Luna 便宜但推理浅，复杂推理任务用 Luna 会导致质量断崖式下降，省下的 token 费远不够弥补用户流失。误区二：忽略限量发布的可用性风险——Sol 不是随时能调用的，如果不设计降级策略，限量期间业务直接停摆。
追问
追问 1：如何评估路由决策的质量？如果选错了模型怎么办？
建立路由质量指标体系：
- 任务完成率：选对模型的比例（用户未重试 = 选对）
- 成本效率：实际成本 vs 理论最优成本的比值
- 用户满意度：选错导致质量下降时，用户反馈会体现
纠错机制：对高价值任务用「双模型投票」——先用便宜模型做，如果置信度低再用贵模型重做。关键：路由错误不是致命的，可恢复的。
追问 2：限量发布场景下（如 Sol Ultra 需要企业认证），路由系统如何处理"拿不到"的情况？
引入「获取确定性」维度：路由决策不仅基于能力-成本，还基于实时可用性。
实现方式：
- 建立模型可用性状态表（实时反映哪些模型可访问、配额多少、延迟如何）
- Sol Ultra 不可用时，自动降级到 Claude Mythos 5（推理能力次优）或 GPT-5 Turbo（推理弱但可用）
关键： 不要硬编码依赖单一模型，保持至少 2-3 个供应商的集成能力。
🔗 相似问题
同一考点的不同问法，换着练更稳
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习
