NVIDIA NeMo Switchyard
NVIDIA 开源的 LLM 流量路由代理与 Rust 库,让 Agent 应用在多个模型与提供商之间按任务特性智能路由,同时保持 OpenAI / Anthropic 原生 API 兼容。内置 LLM 分类器、阶段路由、升级路由、随机路由等算法,并提供 Prometheus 操作指标。LangChain 基准测试显示可降低 74% 成本,Cognition Devin 部署实现近前沿性能同时成本降低 28%。
🎯适用场景:为多 Agent 系统构建智能模型路由层,按任务特性自动选择最合适模型以平衡成本与性能
#模型路由#Rust#NVIDIA#Agent 基础设施#OpenAI 兼容#Anthropic 兼容
📊 仓库数据
Stars2,096
Forks185
语言Rust
协议Apache-2.0
上线2026/5/20
更新2026/8/22
✅ 优点
- •NVIDIA 官方开源,2,096 stars,185 forks
- •协议翻译:OpenAI Chat / Responses / Anthropic Messages 互转
- •多种路由算法:LLM 分类器、阶段路由、升级路由、随机
- •代理服务器或嵌入 Rust 应用两种部署路径
- •LangChain/Cognition 生产级基准验证
⚠️ 限制
- •Pre-alpha 阶段,API 与算法在 v1.0 前可能显著变化
- •路由决策引入额外延迟,需实测
- •与 LiteLLM、OpenRouter 等现有 API 网关存在功能重叠
- •多模型环境下的凭证与成本管理需额外基础设施
