Cactus
面向移动设备和可穿戴设备的低延迟 AI 推理引擎。支持 Android 和 iOS，采用 ARM 优化和低延迟设计。5.3K+ stars，是移动端 LLM 推理的新选择
🎯适用场景：移动端 AI 应用、可穿戴设备智能交互、低延迟边缘推理
📊 仓库数据
✅ 优点
- •专为移动设备优化延迟极低
- •支持 Android 和 iOS
- •ARM 架构性能优异
- •适合可穿戴设备
⚠️ 限制
- •许可声明不够清晰
- •生态和社区较小
- •功能相对 Ollama 有限
🔗 相关工具
ExecuTorch
github.com/pytorch/executorch
PyTorch 端侧 AI 推理引擎，4.6K+ stars。覆盖移动设备、嵌入式和边缘端的 PyTorch 端侧推理方案，支持模型量化、编译和优化部署
🎯将 PyTorch 模型编译部署到手机与嵌入式设备的端侧推理
Ollama
github.com/ollama/ollama
本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具
🎯生产环境模型推理服务
gpt4free
github.com/xtekky/gpt4free
多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案
🎯本地模型运行与推理服务
LocalAI
github.com/mudler/LocalAI
开源本地 AI 引擎，45,607+ stars。完全兼容 OpenAI API 的本地 AI 推理引擎，支持 LLM、语音识别、图像生成等多种模型，数据完全本地处理保护隐私
🎯生产环境模型推理服务、多模态内容理解与生成
Kronos
github.com/shiyu-coder/Kronos
面向金融市场的 Foundation Model，将金融市场语言建模为序列预测问题。支持金融时间序列分析、市场趋势预测和量化交易策略生成。由 shiyu-coder 团队开发，GitHub 20K+ 星，周增 3200+ 星，是金融 AI 领域增长最快的项目之一。采用类 Transformer 架构处理结构化金融数据，可对接主流交易 API。
🎯金融时间序列预测、量化交易策略生成、市场趋势分析
llamafile
github.com/mozilla-ai/llamafile
用单个可执行文件分发和运行大型语言模型，支持跨平台本地推理的轻量级方案，无需复杂环境配置即可快速启动 AI 模型
🎯本地运行 LLM 的轻量级方案