lucebox-hub

LLM KV Cache 加速层，通过智能缓存机制显著提升大语言模型推理速度。兼容 vLLM 等主流推理框架，可将重复前缀场景的推理延迟降低数倍。8.3K+ stars。

🎯LLM 推理加速、重复前缀场景优化、多轮对话性能提升

大规模 LLM 推理引擎，支持 CUDA 和 Inferentia 等多种硬件后端，提供高性能的分布式推理能力

🎯大规模 LLM 推理部署、多硬件后端支持、高性能 API 服务

本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具

🎯生产环境模型推理服务

多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案

🎯本地模型运行与推理服务

开源本地 AI 引擎，45,607+ stars。完全兼容 OpenAI API 的本地 AI 推理引擎，支持 LLM、语音识别、图像生成等多种模型，数据完全本地处理保护隐私

🎯生产环境模型推理服务、多模态内容理解与生成

统一的 AI 模型网关，支持聚合和分发各类 LLM API。自动转换为 OpenAI/Claude/Gemini 兼容格式，是 LLM 路由与统一接入的集中式网关方案。36K+ stars。

🎯多 LLM 模型统一接入、API 路由聚合、LLM 服务分发网关