Cactus
面向移动设备和可穿戴设备的低延迟 AI 推理引擎。支持 Android 和 iOS，采用 ARM 优化和低延迟设计。5.3K+ stars，是移动端 LLM 推理的新选择
🎯适用场景：移动端 AI 应用、可穿戴设备智能交互、低延迟边缘推理
📊 仓库数据
📈 Stars 变化 ↑12 小时 +2· 统计区间 7/16 22:42 → 7/17 10:26（12 小时）
✅ 优点
- •专为移动设备优化延迟极低
- •支持 Android 和 iOS
- •ARM 架构性能优异
- •适合可穿戴设备
⚠️ 限制
- •许可声明不够清晰
- •生态和社区较小
- •功能相对 Ollama 有限
🔗 相关工具
Ollama
github.com/ollama/ollama
本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具
🎯生产环境模型推理服务
llama.cpp
github.com/ggml-org/llama.cpp
高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施
🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换
DeepSeek-V3
github.com/deepseek-ai/DeepSeek-V3
深度求索开源 MoE 架构大语言模型，671B 参数但仅激活 37B，推理成本低且性能对标 GPT-4 级别，支持多语言
🎯高性价比 LLM 部署、中文场景优化、MoE 架构研究
GPT4All
github.com/nomic-ai/gpt4all
开源本地 LLM 聊天应用和推理框架，提供一键安装的桌面应用和 Python 生态，支持多种开源模型本地运行
🎯本地 AI 聊天、隐私敏感的文档问答、离线 AI 助手
GPT4Free
github.com/xtekky/gpt4free
多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案
🎯本地模型运行与推理服务
Headroom
github.com/chopratejas/headroom
LLM 上下文压缩工具，可自动压缩工具输出、日志、文件和 RAG 分块，在发送到 LLM 前将 token 消耗降低 60%。12K+ stars。
🎯LLM 上下文压缩、Token 成本优化、RAG 系统输出预处理
