RouteLLM

开源推理 & 运维 › 推理引擎⭐ 5.0k

LLM 路由和评估框架，通过智能路由到成本更低的模型来节省成本，同时不牺牲输出质量

🎯适用场景：LLM 成本优化、模型路由策略、多模型服务评估

#llm-routing#cost-optimization#model-serving#evaluation#llmops

📥 收录于 2026/6/8

访问工具

📊 仓库数据

Stars4,993

Forks390

语言Python

更新2026/6/9

✅ 优点

•LMSYS 出品质量有保障
•智能路由降低 LLM 成本
•内置评估框架
•易于集成到现有服务

⚠️ 限制

•需要自行配置路由策略
•评估依赖特定数据集

🔗 相关工具

Tensorflow

开源⭐ 196k↑+9

github.com/tensorflow/tensorflow

全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具

🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务

#深度学习#deep-neural-networks#分布式#机器学习+1

语言C++

🍴 Forks75,185

🔄 更新2026/6/10

📥 收录2026/4/11

Prometheus

开源⭐ 64k↑+9

github.com/prometheus/prometheus

开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。

🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控

#监控#告警#指标#时序数据+1

语言Go

🍴 Forks10,491

🔄 更新2026/6/10

📥 收录2026/5/27

Ray

开源⭐ 43k↓-1

github.com/ray-project/ray

AI 分布式计算引擎，42K+ stars。提供核心分布式运行时和一套 AI 库，加速 ML 工作负载——包括超参数搜索、强化学习、LLM 推理服务等，是大规模 AI 训练和推理的事实标准基础设施

🎯分布式 ML 训练与推理调度、超参数搜索与强化学习

#分布式计算#ML 加速#超参数优化#LLM 服务

语言Python

🍴 Forks7,665

🔄 更新2026/6/10

📥 收录2026/5/19

LLM Action

开源⭐ 24k↑+1

github.com/liguodongiot/llm-action

生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具

🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考

#大语言模型#llm-inference#llm-serving#llm-training+1

语言HTML

🍴 Forks2,809

📅 上线2023/5/23

🔄 更新2026/6/10

📥 收录2026/5/20

ncnn

开源⭐ 23k

github.com/Tencent/ncnn

高性能神经网络推理框架，4.6K+ stars。针对移动端优化的高性能神经网络推理框架，腾讯开源的移动端深度学习推理方案

🎯移动端/嵌入式高性能神经网络推理部署

#android#arm-neon#人工智能#caffe+1

语言C++

🍴 Forks4,439

📅 上线2017/6/30

🔄 更新2026/6/9

📥 收录2026/5/20

Nats Server

开源⭐ 20k↑+1

github.com/nats-io/nats-server

NATS.io 高性能消息系统服务器，专为云和边缘环境设计。支持发布订阅、请求响应、队列订阅等模式，具备极低延迟、高吞吐量和轻量级特性。20K+ stars。

🎯AI Agent 间消息传递、微服务通信、边缘计算数据同步

#云端#Cloud-computing#云原生#Connected-vehicle

语言Go

🍴 Forks1,828

🔄 更新2026/6/10

📥 收录2026/6/3

← 浏览全部 940 个工具