GPT4All
开源本地 LLM 聊天应用和推理框架，提供一键安装的桌面应用和 Python 生态，支持多种开源模型本地运行
🎯适用场景：本地 AI 聊天、隐私敏感的文档问答、离线 AI 助手
📥 收录于 2026/6/6
📊 仓库数据
📈 Stars 变化 ↑8 小时 +1· 统计区间 7/21 13:41 → 7/21 21:36（8 小时）
✅ 优点
- •一键安装的桌面应用，零配置
- •Python SDK 易集成
- •完全离线保护隐私
⚠️ 限制
- •模型选择受官方生态限制
- •高级功能需付费版
- •性能不及 llama.cpp 灵活
🔗 相关工具
llama.cpp
github.com/ggml-org/llama.cpp
高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施
🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换
DeepSeek-V3
github.com/deepseek-ai/DeepSeek-V3
深度求索开源 MoE 架构大语言模型，671B 参数但仅激活 37B，推理成本低且性能对标 GPT-4 级别，支持多语言
🎯高性价比 LLM 部署、中文场景优化、MoE 架构研究
Thunderbolt
github.com/thunderbird/thunderbolt
Thunderbird 出品的本地 AI 平台——「AI You Control」。核心理念是消除厂商锁定：用户自主选择模型、完全掌控数据、无需依赖云端 API。支持多模型统一接口（OpenAI/Anthropic/本地模型），数据完全本地存储，提供 Web UI 和 API。4,074 stars，周增 2,799 星，是本周增速最快的本地 AI 项目。适合对数据隐私有严格要求的团队和个人。
🎯多模型 API 统一接入与路由
Deep Chat
github.com/OvidijusParsiunas/deep-chat
deep-chat 是一个高度可定制的 AI 聊天组件，支持嵌入到任何网站中。兼容 OpenAI、Claude、Gemini、Ollama、HuggingFace 等多种 AI 后端，并提供 React、Vue、Svelte、Solid 等主流前端框架支持，适合快速为网站添加 AI 对话功能。4K+ stars。
🎯网站嵌入 AI 聊天功能、多框架前端项目集成、AI 客服和咨询机器人
PyGPT
github.com/szczyglis-dev/py-gpt
桌面 AI 助手，支持 GPT-5/4、o1/o3、Gemini、Claude、Ollama、DeepSeek 等 15+ 模型。内置 RAG、图像/视频生成、Agent 工具、MCP 插件、语音合成与识别、网络搜索、记忆和预设功能。Linux/Windows/Mac 全平台支持
🎯桌面端多模型 AI 助手，本地私有化部署
kvpress
github.com/NVIDIA/kvpress
KVPress 是 NVIDIA 开源的 KV Cache 压缩工具，通过智能压缩技术减少大语言模型推理时的显存占用。支持多种压缩算法，显著提升长上下文处理能力。
🎯LLM 推理优化、KV Cache 压缩、长上下文处理
