模型路由（Model Router）

模型路由经历了快速的技术迭代。第一代（2023-2024）是静态规则路由：基于成本阈值（如「超过 $0.01 的请求转给便宜模型」）、延迟阈值（如「超过 2 秒切换到更快模型」）或简单轮询。代表产品包括早期 OpenRouter 和 LiteLLM。

第二代（2024-2025）引入内容感知：路由器对请求做分类（代码生成、文本摘要、翻译、对话），然后按类别分配最适合的模型。例如，代码生成任务路由到 Claude 4 Sonnet，简单问答路由到 GPT-4o-mini。

第三代（2025-2026）是学习型路由：训练一个小型分类模型（通常 100M-1B 参数），输入请求特征，输出每个候选模型的预测质量分数和成本，选择帕累托最优解。Microsoft Foundry Model Router 和 Not Diamond 是这一代的代表。

常见的路由模式包括：

• 级联路由（Cascade）——先尝试便宜模型，如果置信度低于阈值则升级到更强模型，适合客服场景（80% 问题用轻量模型解决）
• 并行路由（Parallel）——同一请求发给多个模型，取最优结果，适合高风险场景（医疗、法律）
• 粘性路由（Sticky）——同一用户/会话固定使用同一模型，保证一致性，适合长期对话场景
• A/B 路由——按比例分流到不同模型，用于持续评估新模型。最佳实践：始终设置 fallback（当主模型不可用时自动切换）；监控路由决策的分布（避免 90% 请求都路由到最贵模型）；定期用最新评测数据更新路由策略

主要模型路由产品对比：

• Microsoft Foundry Model Router——内置于 Azure AI Foundry，支持 Balanced/Cost/Quality 三种模式，自动路由到 Azure 上部署的 OpenAI/Meta/Mistral 模型
• OpenRouter——统一 API 访问 200+ LLM，支持按价格、速度、质量排序，社区驱动
• LiteLLM——开源代理，支持 100+ 模型格式转换（OpenAI/Anthropic/Bedrock/Vertex），可自托管
• Vercel AI Gateway——面向前端开发者，支持条件路由和 A/B 测试，原生集成 AI SDK
• Not Diamond——ML 驱动的智能路由，自动学习最优分配策略，支持持续评估。选择建议：企业级选 Microsoft Foundry 或 Vercel AI Gateway（合规和支持）；初创团队选 OpenRouter 或 LiteLLM（快速集成和低成本）