Mooncake

开源推理 & 评测⭐ 5.5k

Mooncake 是月之暗面 Kimi 的推理服务平台，基于 disaggregation 架构设计，通过 KVCache 分离管理实现大规模 LLM 推理服务的高效部署和弹性扩展

🎯适用场景：大规模 LLM 推理服务部署、KVCache 管理与优化、高并发推理场景

#disaggregation#inference#kvcache#llm

📥 收录于 2026/6/4

访问工具

📊 仓库数据

Stars5,505

语言C++

✅ 优点

•月之暗面 Kimi 生产验证，大规模实战经验丰富
•disaggregation 架构有效降低推理延迟和成本

⚠️ 限制

•架构较复杂，运维门槛较高
•目前主要面向 C++ 技术栈

🔗 相关工具

BitNet

开源⭐ 39k↑+14

github.com/microsoft/bitnet

微软 1-bit LLM 官方推理框架，将模型权重量化为 1-bit，大幅降低推理成本

🎯金融 AI 应用与量化分析

#llm#quantization#inference#1-bit

语言Python

🍴 Forks3,576

🔄 更新2026/6/4

📥 收录2026/5/18

llm-action

开源⭐ 24k↑+3

github.com/liguodongiot/llm-action

生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具

🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考

#llm#llm-inference#llm-serving#llm-training+1

语言HTML

🍴 Forks2,799

📅 上线2023/5/23

🔄 更新2026/6/4

📥 收录2026/5/20

Bifrost

开源⭐ 5.5k↑+10

github.com/maximhq/bifrost

企业级 AI 网关，比 LiteLLM 快 50 倍，支持自适应负载均衡、集群模式和 GPU 推理。

🎯高性能 AI 推理网关、模型路由与负载均衡

#ai-gateway#mlops#llmops#inference+1

语言Go

🍴 Forks692

🔄 更新2026/6/4

📥 收录2026/6/3

LMOps

开源⭐ 4.4k

github.com/microsoft/LMOps

微软开源的大语言模型和多模态大模型通用技术库，涵盖预训练、提示工程、promptist 等 LLM 全链路核心技术。

🎯LLM 预训练、提示工程、prompt 优化研究

#lmops#llm#pretraining#prompt+1

语言Python

🍴 Forks372

🔄 更新2026/6/4

📥 收录2026/5/31

vLLM

开源⭐ 82k↑+18

github.com/vllm-project/vllm

高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API

🎯生产环境模型推理服务

#推理引擎#高性能#PagedAttention#生产部署

语言Python

🍴 Forks17,647

📅 上线2023/2/9

🔄 更新2026/6/4

📥 收录2026/4/13

Netdata

开源⭐ 79k↑+2

github.com/netdata/netdata

AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。

🎯服务器与基础设施实时监控、AI 异常检测预警

#可观测性#监控#AI 异常检测#基础设施

语言C

🍴 Forks6,454

📅 上线2016/8/1

🔄 更新2026/6/4

📥 收录2026/4/21

← 浏览全部 827 个工具