Sidekick

开源LLM 运行时 › 本地运行时⭐ 3.3k

原生 macOS 应用，可与本地 LLM 聊天并获取文件/文件夹/网站信息，无需安装其他软件，基于 llama.cpp 驱动

🎯适用场景：Mac 用户与本地 LLM 交互并检索本地文件信息

#macOS#本地LLM#RAG#Swift

📥 收录于 2026/6/12

访问工具

📊 仓库数据

Stars3,297

Forks145

语言Swift

更新2026/7/28

✅ 优点

•原生 macOS
•零配置运行
•支持本地文件检索

⚠️ 限制

•仅支持 macOS
•依赖 llama.cpp

🔗 相关工具

KeyType

开源⭐ 424↑+1

github.com/johnbean393/KeyType

macOS 原生 AI 自动补全工具，系统级 Cotypist 体验，支持 Qwen3.5、Gemma4 等本地模型，全局快捷键即可触发输入。353 stars。

🎯macOS 用户想要类 Copilot 的全局 AI 输入补全体验

#macOS#AI 补全#本地模型#Swift+1

omlx

开源⭐ 18k↑+11

github.com/jundot/omlx

Apple Silicon 专用 LLM 推理服务器，支持连续批处理和 SSD 缓存，从 macOS 菜单栏管理。为 Mac 用户提供了一键式 LLM 本地部署方案，14K+ stars

🎯本地模型运行与推理服务

#Apple Silicon#本地推理#macOS#SSD 缓存

Apple CoreAI Models

开源⭐ 1.4k↑+2

github.com/apple/coreai-models

Apple 官方开源的端侧 AI 模型导出工具，含 Python 原语与 Swift 运行时，1K+ stars。

🎯将 AI 模型导出为 Apple 设备端侧可运行格式

#Apple#端侧 AI#Swift#模型导出

Ollama

开源⭐ 177k↑+41

github.com/ollama/ollama

本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具

🎯生产环境模型推理服务

llama.cpp

开源⭐ 122k↑+44

github.com/ggml-org/llama.cpp

高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施

🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换

#推理#大语言模型#本地 AI#gguf+1

DeepSeek-V3

开源⭐ 104k↑+7

github.com/deepseek-ai/DeepSeek-V3

深度求索开源 MoE 架构大语言模型，671B 参数但仅激活 37B，推理成本低且性能对标 GPT-4 级别，支持多语言

🎯高性价比 LLM 部署、中文场景优化、MoE 架构研究

#moe#大语言模型#open-weight#chinese+1