Llama Stack

统一的多模型推理平台，通过一行代码即可切换不同 LLM。支持开源模型、语音模型和多模态模型在云端、本地或笔记本电脑上的部署，提供生产级 API 服务。

🎯快速部署多种开源 LLM 和多模态模型，统一 API 接口，适合需要同时运行多个模型的团队或企业

DeepSeek 开源的推测解码（Speculative Decoding）全栈训练与评估代码库，包含 DSpark、DFlash、Eagle3 三种算法。在 DeepSeek-V4 上实现 60-85% 的每用户生成速度提升，输出质量完全一致。MIT 协议，6.5k+ stars。

🎯LLM 推理加速，无损输出质量的推测解码训练与部署

Block Diffusion for Flash Speculative Decoding，加速 LLM 推理的新型解码方法。通过推测解码 + 块扩散显著降低 LLM 推理延迟，GitHub 1.3k stars。在保持输出质量的同时，将推理吞吐量提升数倍，是大模型高效推理的前沿研究方向

🎯LLM 推测解码加速、降低大模型推理延迟

轻量级 LLM 推理服务框架，以轻量设计、易扩展和高速性能著称，支持多模型部署和高并发推理。

🎯部署大语言模型推理服务——在自有服务器上快速搭建轻量高效的 LLM 推理 API。

多 LoRA 推理服务器，可扩展至数千个微调大语言模型，显著降低部署多个微调模型的成本。

🎯部署大量微调模型——一台服务器同时服务上千个 LoRA 微调模型，大幅节省显存和部署成本。

清华团队开发的高性能 LLM 推理框架，专注效率、灵活性和可用性，支持多种模型架构。

🎯大模型推理加速——在科研或生产环境中部署高效 LLM 推理服务。