LM Studio Bionic
本地开源模型的 AI Agent 运行时。混合推理架构（Bionic Inference）支持工具调用、多轮对话和上下文管理，将本地模型转化为完整的 Agent 运行环境。
🎯适用场景：本地开源模型 Agent 化——工具调用、多轮对话、上下文管理
✅ 优点
- •本地隐私保护
- •完整 Agent 能力
- •开源模型支持
- •混合推理架构
⚠️ 限制
- •依赖本地硬件
- •模型能力受限
- •生态早期
🔗 相关工具
Ollama
github.com/ollama/ollama
本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具
🎯生产环境模型推理服务
llama.cpp
github.com/ggml-org/llama.cpp
高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施
🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换
GPT4All
github.com/nomic-ai/gpt4all
开源本地 LLM 聊天应用和推理框架，提供一键安装的桌面应用和 Python 生态，支持多种开源模型本地运行
🎯本地 AI 聊天、隐私敏感的文档问答、离线 AI 助手
Thunderbolt
github.com/thunderbird/thunderbolt
Thunderbird 出品的本地 AI 平台——「AI You Control」。核心理念是消除厂商锁定：用户自主选择模型、完全掌控数据、无需依赖云端 API。支持多模型统一接口（OpenAI/Anthropic/本地模型），数据完全本地存储，提供 Web UI 和 API。4,074 stars，周增 2,799 星，是本周增速最快的本地 AI 项目。适合对数据隐私有严格要求的团队和个人。
🎯多模型 API 统一接入与路由
Rapid-MLX
github.com/raullenchai/Rapid-MLX
Apple Silicon 上最快的本地 AI 引擎，比 Ollama 快 4.2 倍，缓存 TTFT 仅 0.08 秒。17 种工具解析器，提示词缓存，推理分离
🎯Mac 本地 LLM 推理、Claude Code/Cursor 加速
Needle
github.com/cactus-compute/needle
将 Gemini 工具调用能力蒸馏到 26M 参数微型模型的开源项目，Hacker News 572 票热评。仅需约 50MB 即可在边缘设备运行工具调用，展示了知识蒸馏在 Agent 领域的可行性，适合端侧部署和低带宽场景。
🎯本地模型运行与推理服务
