vLLM

高性能 LLM 和多模态模型服务框架，27K+ stars。采用 RadixAttention 等高效注意力实现，支持 DeepSeek、Llama、Qwen、GPT-OSS 等主流模型的高吞吐推理服务，是 vLLM 之外另一个生产级推理引擎选择

🎯生产环境模型推理服务

NVIDIA TensorRT-LLM 提供易用的 Python API 定义 LLM，支持最先进的推理优化，在 NVIDIA GPU 上实现极致推理性能

🎯在 NVIDIA GPU 上获得最优 LLM 推理性能

LLM KV Cache 加速层，通过智能缓存机制显著提升大语言模型推理速度。兼容 vLLM 等主流推理框架，可将重复前缀场景的推理延迟降低数倍。8.3K+ stars。

🎯LLM 推理加速、重复前缀场景优化、多轮对话性能提升

Rust 编写的全能 LLM CLI 工具，集成 Shell 助手、Chat-REPL 交互式对话、RAG 文档检索、AI 工具与 Agent 等多种模式。支持 OpenAI、Claude、Gemini、Ollama 等 20+ LLM 提供商，可配置多角色和自定义 Prompt。Rust 实现带来极快的启动速度和极低的资源占用，是终端用户和开发者高效使用 AI 的首选命令行工具

🎯生产环境模型推理服务

可扩展的 Agentic RL 训练框架，9.6K+ stars。基于 Ray 构建，支持 PPO/DAPO/REINFORCE++ 等算法，集成 vLLM 加速推理

🎯LLM 对齐训练（RLHF/DPO）、Agent 强化学习

DeepGEMM 是 DeepSeek 开源的高性能 FP8 GEMM（通用矩阵乘法）内核库，周增 605 stars，当前 6,998 stars。它专为 FP8 精度的大模型推理和训练设计，提供细粒度缩放（Fine-grained Scaling）的 GEMM 内核实现。与 vLLM 等推理引擎不同，DeepGEMM 聚焦在底层的 GEMM 计算优化层面——它是 FP8 量化推理的基础设施。在 FP8 已成为大模型推理主流精度格式的今天，DeepGEMM 提供了从 CUDA 内核层面优化 FP8 计算的关键能力，是高性能 LLM 推理栈中不可或缺的一环。

🎯大模型推理 GEMM 内核加速、GPU 矩阵运算优化