llama.cpp

开源本地 LLM 聊天应用和推理框架，提供一键安装的桌面应用和 Python 生态，支持多种开源模型本地运行

🎯本地 AI 聊天、隐私敏感的文档问答、离线 AI 助手

用单个可执行文件分发和运行大型语言模型，支持跨平台本地推理的轻量级方案，无需复杂环境配置即可快速启动 AI 模型

🎯本地运行 LLM 的轻量级方案

KVPress 是 NVIDIA 开源的 KV Cache 压缩工具，通过智能压缩技术减少大语言模型推理时的显存占用。支持多种压缩算法，显著提升长上下文处理能力。

🎯LLM 推理优化、KV Cache 压缩、长上下文处理

深度求索开源 MoE 架构大语言模型，671B 参数但仅激活 37B，推理成本低且性能对标 GPT-4 级别，支持多语言

🎯高性价比 LLM 部署、中文场景优化、MoE 架构研究

跨平台 AI 推理工具包，支持在 Android/iOS/Web/Flutter 等端侧运行扩散模型、LLM、VLM 等多模态模型，主打本地推理。

🎯移动端/端侧 AI 推理、离线 AI 应用开发、边缘计算场景

Thunderbird 出品的本地 AI 平台——「AI You Control」。核心理念是消除厂商锁定：用户自主选择模型、完全掌控数据、无需依赖云端 API。支持多模型统一接口（OpenAI/Anthropic/本地模型），数据完全本地存储，提供 Web UI 和 API。4,074 stars，周增 2,799 星，是本周增速最快的本地 AI 项目。适合对数据隐私有严格要求的团队和个人。

🎯多模型 API 统一接入与路由