OmniRoute

开源推理 & 评测5.7k↑+8

免费 AI 网关,单端点接入 160+ 提供商(50+ 免费),支持 Claude Code、Cursor 等工具的模型路由和限流。

🎯适用场景:多模型聚合路由、免费 AI 服务集成

#ai-gateway#model-routing#mlops#llmops

📥 收录于 2026/6/3

📊 仓库数据

Stars5,698
Forks986
语言TypeScript
更新2026/6/3

📈 上次抓取以来 ↑+8

优点

  • 支持 160+ 提供商
  • 50+ 免费模型可用
  • 内置限流与负载均衡

⚠️ 限制

  • 个人维护项目,稳定性待验证
  • 企业级功能欠缺

🔗 相关工具

Bifrost

开源5.5k↑+8

github.com/maximhq/bifrost

企业级 AI 网关,比 LiteLLM 快 50 倍,支持自适应负载均衡、集群模式和 GPU 推理。

🎯高性能 AI 推理网关、模型路由与负载均衡

#ai-gateway#mlops#llmops#inference+1
语言Go
🍴 Forks687
🔄 更新2026/6/3
📥 收录2026/6/3

Semantic Router

开源4.3k↑+2

github.com/vllm-project/semantic-router

vLLM 项目出品的系统级智能路由器,在云、数据中心和边缘实现 Mixture-of-Models 的智能路由。

🎯多模型智能路由与混合模型部署

#model-routing#mlops#vllm#ai-gateway+1
语言Go
🍴 Forks696
🔄 更新2026/6/3
📥 收录2026/6/3

CozeLoop

开源5.5k↑+1

github.com/coze-dev/coze-loop

字节跳动 Coze 团队出品的 AI Agent 优化平台,解决 Agent 开发中的调试、评测和优化难题。

🎯AI Agent 开发、调试与性能优化

#ai-agent#agent-evaluation#llmops#prompt-management+1
语言Go
🍴 Forks763
🔄 更新2026/6/3
📥 收录2026/6/3

Pezzo

开源3.2k

github.com/pezzolabs/pezzo

开源开发者优先的 LLMOps 平台,简化 Prompt 设计、版本管理、协作和交付。

🎯Prompt 设计、版本管理与团队协作

#prompt-management#llmops#mlops#prompt-engineering
语言TypeScript
🍴 Forks274
🔄 更新2026/6/3
📥 收录2026/6/3

llm-action

开源24k↑+2

github.com/liguodongiot/llm-action

生成式 AI 指南,4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库,涵盖最新进展和实用工具

🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考

#llm#llm-inference#llm-serving#llm-training+1
语言HTML
🍴 Forks2,799
📅 上线2023/5/23
🔄 更新2026/6/3
📥 收录2026/5/20

Ragas

开源14k↑+1

github.com/vibrantlabsai/ragas

LLM 应用评估框架,提供 RAG 管道的自动化评测能力,支持答案相关性、上下文忠实度、幻觉检测等关键指标,帮助开发者量化和优化 LLM 应用质量。(14K+ stars)

🎯LLM 应用质量评估、RAG 管道评测、AI 产品验收测试

#llm-evaluation#rag#llmops#metrics+1
语言Python
🍴 Forks1,456
🔄 更新2026/6/3
📥 收录2026/5/24