kvpress
KVPress 是 NVIDIA 开源的 KV Cache 压缩工具，通过智能压缩技术减少大语言模型推理时的显存占用。支持多种压缩算法，显著提升长上下文处理能力。
🎯适用场景：LLM 推理优化、KV Cache 压缩、长上下文处理
📥 收录于 2026/6/3
📊 仓库数据
✅ 优点
- •NVIDIA 官方出品质量高
- •显著提升推理吞吐量
- •多种压缩算法可选
⚠️ 限制
- •压缩可能影响模型精度
- •仅支持部分模型架构
🔗 相关工具
llama.cpp
github.com/ggml-org/llama.cpp
高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施
🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换
DeepSeek-V3
github.com/deepseek-ai/DeepSeek-V3
深度求索开源 MoE 架构大语言模型，671B 参数但仅激活 37B，推理成本低且性能对标 GPT-4 级别，支持多语言
🎯高性价比 LLM 部署、中文场景优化、MoE 架构研究
GPT4All
github.com/nomic-ai/gpt4all
开源本地 LLM 聊天应用和推理框架，提供一键安装的桌面应用和 Python 生态，支持多种开源模型本地运行
🎯本地 AI 聊天、隐私敏感的文档问答、离线 AI 助手
llamafile
github.com/mozilla-ai/llamafile
用单个可执行文件分发和运行大型语言模型，支持跨平台本地推理的轻量级方案，无需复杂环境配置即可快速启动 AI 模型
🎯本地运行 LLM 的轻量级方案
Runanywhere SDKs
github.com/RunanywhereAI/runanywhere-sdks
跨平台 AI 推理工具包，支持在 Android/iOS/Web/Flutter 等端侧运行扩散模型、LLM、VLM 等多模态模型，主打本地推理。
🎯移动端/端侧 AI 推理、离线 AI 应用开发、边缘计算场景
Mixture of Recursions
github.com/raymin0223/mixture_of_recursions
结合自适应计算和早期退出的递归 Transformer 架构，优化 LLM 推理效率和精度。
🎯LLM 架构研究、推理效率优化、Transformer 改进
