Bifrost
企业级 AI 网关，比 LiteLLM 快 50 倍，支持自适应负载均衡、集群模式和 GPU 推理。
🎯适用场景：高性能 AI 推理网关、模型路由与负载均衡
#ai-gateway#mlops#llmops#inference#load-balancer
📊 仓库数据
Stars5,465
Forks687
语言Go
更新2026/6/3
📈 上次抓取以来 ↑+8 ⭐
✅ 优点
- •性能远超 LiteLLM
- •自适应负载均衡
- •企业级稳定性
⚠️ 限制
- •功能相对 LiteLLM 较少
- •社区较小
🔗 相关工具
OmniRoute
开源⭐ 5.7k↑+8
github.com/diegosouzapw/OmniRoute
免费 AI 网关，单端点接入 160+ 提供商（50+ 免费），支持 Claude Code、Cursor 等工具的模型路由和限流。
🎯多模型聚合路由、免费 AI 服务集成
#ai-gateway#model-routing#mlops#llmops
语言TypeScript
🍴 Forks986
🔄 更新2026/6/3
📥 收录2026/6/3
CozeLoop
开源⭐ 5.5k↑+1
github.com/coze-dev/coze-loop
字节跳动 Coze 团队出品的 AI Agent 优化平台，解决 Agent 开发中的调试、评测和优化难题。
🎯AI Agent 开发、调试与性能优化
#ai-agent#agent-evaluation#llmops#prompt-management+1
语言Go
🍴 Forks763
🔄 更新2026/6/3
📥 收录2026/6/3
Semantic Router
开源⭐ 4.3k↑+2
github.com/vllm-project/semantic-router
vLLM 项目出品的系统级智能路由器，在云、数据中心和边缘实现 Mixture-of-Models 的智能路由。
🎯多模型智能路由与混合模型部署
#model-routing#mlops#vllm#ai-gateway+1
语言Go
🍴 Forks696
🔄 更新2026/6/3
📥 收录2026/6/3
Pezzo
开源⭐ 3.2k
github.com/pezzolabs/pezzo
开源开发者优先的 LLMOps 平台，简化 Prompt 设计、版本管理、协作和交付。
🎯Prompt 设计、版本管理与团队协作
#prompt-management#llmops#mlops#prompt-engineering
语言TypeScript
🍴 Forks274
🔄 更新2026/6/3
📥 收录2026/6/3
BitNet
开源⭐ 39k
github.com/microsoft/bitnet
微软 1-bit LLM 官方推理框架，将模型权重量化为 1-bit，大幅降低推理成本
🎯金融 AI 应用与量化分析
#llm#quantization#inference#1-bit
语言Python
🍴 Forks3,569
🔄 更新2026/6/3
📥 收录2026/5/18
llm-action
开源⭐ 24k↑+2
github.com/liguodongiot/llm-action
生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具
🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考
#llm#llm-inference#llm-serving#llm-training+1
语言HTML
🍴 Forks2,799
📅 上线2023/5/23
🔄 更新2026/6/3
📥 收录2026/5/20