Turbo Fieldfare

在任何 M 系列 MacBook 上以约 2GB 内存运行 Gemma 4 26B-A4B 推理的 Swift 实现，基于 Metal 的端侧大模型推理方案。6035 stars，Apache-2.0 许可，7/17 创建，8/15 活跃更新。

🎯适用场景：在 M 系列 MacBook 上以极低内存占用本地运行 Gemma 4 26B-A4B 推理

#gemma#llm-inference#apple-silicon#metal#on-device-llm

📥 收录于 2026/8/16

访问工具 📖 官方文档

📊 仓库数据

Stars6,035

Forks358

语言Swift

协议Apache-2.0

上线2026/7/17

更新2026/8/16

✅ 优点

•6035 stars 快速增长
•Apache-2.0 许可证
•2GB 内存运行 26B 模型
•M 系列 MacBook 原生支持
•8/15 活跃更新

⚠️ 限制

•仅支持 Apple Silicon
•针对 Gemma 4 26B-A4B 优化
•相对较新（7/17 创建）

🔗 相关工具

Ollama

开源179k↑+84

github.com/ollama/ollama

本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具

🎯生产环境模型推理服务

llama.cpp

开源124k↑+101

github.com/ggml-org/llama.cpp

高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施

🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换

#推理#大语言模型#本地 AI#gguf+1

DeepSeek-V3

开源104k↑+22

github.com/deepseek-ai/DeepSeek-V3

深度求索开源 MoE 架构大语言模型，671B 参数但仅激活 37B，推理成本低且性能对标 GPT-4 级别，支持多语言

🎯高性价比 LLM 部署、中文场景优化、MoE 架构研究

#moe#大语言模型#open-weight#chinese+1

GPT4All

开源77k↑+2

github.com/nomic-ai/gpt4all

开源本地 LLM 聊天应用和推理框架，提供一键安装的桌面应用和 Python 生态，支持多种开源模型本地运行

🎯本地 AI 聊天、隐私敏感的文档问答、离线 AI 助手

#chat#本地 AI#大语言模型#桌面端+1

GPT4Free

开源67k↑+3

github.com/xtekky/gpt4free

多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案

🎯本地模型运行与推理服务

Headroom

开源66k↑+59

github.com/chopratejas/headroom

LLM 上下文压缩工具，可自动压缩工具输出、日志、文件和 RAG 分块，在发送到 LLM 前将 token 消耗降低 60%。12K+ stars。

🎯LLM 上下文压缩、Token 成本优化、RAG 系统输出预处理

#context-compression#llm-optimization#token-reduction#rag