AIChat

面向消费级硬件的快速 LLM 推测推理服务器，利用 DFlash 内核和 CUDA 优化在普通 GPU 上实现高性能推理

🎯消费级 GPU 上的 LLM 推理、本地大模型部署、推理加速

纯 Rust 编写的 WebGPU 推理引擎，兼容 OpenAI API，原生支持 GGUF 格式。零 Python 依赖，单二进制文件，可在任意 GPU 上运行

🎯本地 LLM 推理、边缘部署、无需 Python 的推理服务

Rust 编写的引擎无关 LLM 网关，完整兼容 OpenAI 和 Anthropic API，支持 vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、Gemini 等多种后端。业界首创 gRPC 管道、KV cache 感知路由、聊天历史、分词缓存、Responses API、嵌入、WASM 插件、MCP 和多租户认证。421 Stars，社区认可度高。

🎯多模型路由、KV cache 感知调度、多租户 LLM 网关

全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具

🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务

高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API

🎯生产环境模型推理服务

开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。

🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控