Semantic Router

开源推理 & 评测⭐ 4.3k↑+2

vLLM 项目出品的系统级智能路由器，在云、数据中心和边缘实现 Mixture-of-Models 的智能路由。

🎯适用场景：多模型智能路由与混合模型部署

#model-routing#mlops#vllm#ai-gateway#mixture-of-models

📥 收录于 2026/6/3

访问工具📖 官方文档

📊 仓库数据

Stars4,268
Forks696
语言Go
更新2026/6/3

📈 上次抓取以来 ↑+2 ⭐

✅ 优点

  • •vLLM 官方出品
  • •系统级智能路由
  • •支持云/边/端协同

⚠️ 限制

  • •相对较新
  • •需要 vLLM 基础设施

🔗 相关工具

OmniRoute

开源⭐ 5.7k↑+8

github.com/diegosouzapw/OmniRoute

免费 AI 网关，单端点接入 160+ 提供商（50+ 免费），支持 Claude Code、Cursor 等工具的模型路由和限流。

🎯多模型聚合路由、免费 AI 服务集成

#ai-gateway#model-routing#mlops#llmops
语言TypeScript
🍴 Forks986
🔄 更新2026/6/3
📥 收录2026/6/3

Bifrost

开源⭐ 5.5k↑+8

github.com/maximhq/bifrost

企业级 AI 网关，比 LiteLLM 快 50 倍，支持自适应负载均衡、集群模式和 GPU 推理。

🎯高性能 AI 推理网关、模型路由与负载均衡

#ai-gateway#mlops#llmops#inference+1
语言Go
🍴 Forks687
🔄 更新2026/6/3
📥 收录2026/6/3

gateway

开源⭐ 12k↑+4

github.com/portkey-ai/gateway

AI 网关，12K+ stars。集成防护栏的高速 AI 网关，支持路由到 200+ LLM 和 50+ AI 基础设施，提供负载均衡和成本优化

🎯多模型 API 统一接入与路由

#ai-gateway#gateway#generative-ai#hacktoberfest+1
语言TypeScript
🍴 Forks1,104
🔄 更新2026/6/3
📥 收录2026/5/7

Metaflow (Netflix)

开源⭐ 10k

github.com/Netflix/metaflow

Netflix 开源的 AI/ML 系统构建与管理平台，简化从原型到生产的 ML 工作流。支持版本控制、依赖管理、计算资源调度和可复现性，是 Netflix 内部 ML 平台的核心

🎯ML 模型训练流水线管理、从实验到生产的 ML 工作流编排

#mlops#ml-pipeline#netflix#data-science+1
语言Python
🍴 Forks1,287
📅 上线2019/6/1
🔄 更新2026/6/3
📥 收录2026/6/4

CozeLoop

开源⭐ 5.5k↑+1

github.com/coze-dev/coze-loop

字节跳动 Coze 团队出品的 AI Agent 优化平台，解决 Agent 开发中的调试、评测和优化难题。

🎯AI Agent 开发、调试与性能优化

#ai-agent#agent-evaluation#llmops#prompt-management+1
语言Go
🍴 Forks763
🔄 更新2026/6/3
📥 收录2026/6/3

Embedding Atlas

开源⭐ 4.8k↑+2

github.com/apple/embedding-atlas

Apple 出品的 Embedding 交互式可视化工具，支持大规模 Embedding 的可视化、交叉过滤和元数据搜索。是理解和调试向量表示的强大工具

🎯Embedding 可视化分析与调试

#embedding#visualization#apple#vector+1
语言TypeScript
🍴 Forks296
🔄 更新2026/6/3
📥 收录2026/5/29
← 浏览全部 781 个工具