模型路由(Model Router)
自动选最便宜的模型
亦作、亦称:Model Router · Model Routing · AI Router · LLM Router
概述
位于应用与多个 LLM 之间的智能调度器,根据请求复杂度、成本预算、延迟要求和质量目标,动态将每个请求路由到最合适的模型。Microsoft Foundry 将其定义为「一个经过训练的语言模型,智能地将提示实时路由到最合适的大语言模型」。
工作原理
位于应用与多个 LLM 之间的智能调度器,根据请求复杂度、成本预算、延迟要求和质量目标,动态将每个请求路由到最合适的模型。Microsoft Foundry 将其定义为「一个经过训练的语言模型,智能地将提示实时路由到最合适的大语言模型」。
应用场景
模型路由常见于:AI 研究与产业落地。实际选型需结合业务指标、数据规模与部署约束评估适用性。
局限与误区
围绕 模型路由 的口语化说法(见「常见误解」)常过度简化。效果依赖数据质量、任务匹配与系统整体设计;生产环境应配合评测、监控与人工复核。
背景与发展
模型路由随 AI 研究与工程实践持续演进,定义边界与最佳实践仍在更新。建议结合原始论文、官方文档与本站延伸阅读建立准确认知。
常见误解
日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。
- 「自动选最便宜的模型」
- 「智能分配请求到不同模型」
相关术语
和本术语关联紧密的其他词条,便于串联理解。