LiteLLM
100+ LLM API 统一 SDK，48K+ stars。统一的 LLM API 代理和 SDK，支持 OpenAI、Claude、Gemini 等所有主流模型，一个接口调用所有模型，是 AI 编码的瑞士军刀
🎯适用场景：多模型 API 统一接入与路由
📊 仓库数据
📈 Stars 变化 ↑6 小时 +24· 统计区间 6/28 18:12 → 6/29 00:15（6 小时）
✅ 优点
- •统一接口支持 100+ 模型
- •内置负载均衡和重试
- •成本跟踪和预算管理
- •部署简单
⚠️ 限制
- •代理层增加延迟
- •配置复杂场景需深入学习
- •部分高级功能需企业版
🔗 相关工具
New API
github.com/QuantumNous/new-api
统一的 AI 模型网关，支持聚合和分发各类 LLM API。自动转换为 OpenAI/Claude/Gemini 兼容格式，是 LLM 路由与统一接入的集中式网关方案。36K+ stars。
🎯多 LLM 模型统一接入、API 路由聚合、LLM 服务分发网关
One Api
github.com/songquanpeng/one-api
开源 LLM API 网关与管理平台，5.1K+ stars。统一接入 OpenAI、Claude、Azure 等多家模型 API，支持密钥分发、用量统计与负载均衡
🎯多模型 API 统一接入与路由
Go Zero
github.com/zeromicro/go-zero
一款云原生 Go 微服务框架，内置代码生成 CLI 工具，支持 RPC/REST/gRPC 等多种协议，提供高性能服务治理能力，适合构建大规模分布式系统。（33K+ stars）
🎯微服务架构开发、分布式系统构建、高性能 API 服务开发
Apache APISIX
github.com/apache/apisix
云原生 API 网关兼 AI 网关，Apache 顶级项目。支持动态路由、限流、鉴权，新增 AI Gateway 能力支持 LLM 请求的智能路由与插件扩展。16K+ stars。
🎯AI 服务 API 网关、LLM 请求智能路由、云原生微服务网关
InsForge
github.com/InsForge/InsForge
面向 Agentic Coding 的全栈开源后端平台，为编码 Agent 提供数据库、认证、存储、计算、托管和 AI 网关，支持端到端构建全栈应用。
🎯多模型 API 统一接入与路由
Higress
github.com/higress-group/higress
AI 原生 API 网关，基于 Envoy 构建。专注 LLM 服务的路由、限流和安全接入，提供开箱即用的 AI Gateway 能力，支持 OpenAI 协议兼容。8.5K+ stars。
🎯LLM 服务代理网关、AI API 安全与限流、多云模型接入