Runanywhere SDKs
跨平台 AI 推理工具包，支持在 Android/iOS/Web/Flutter 等端侧运行扩散模型、LLM、VLM 等多模态模型，主打本地推理。
🎯适用场景：移动端/端侧 AI 推理、离线 AI 应用开发、边缘计算场景
📊 仓库数据
📈 Stars 变化 ↑12 小时 +2· 统计区间 7/10 12:08 → 7/11 00:11（12 小时）
✅ 优点
- •跨平台支持（Android/iOS/Web/Flutter/React Native）
- •支持多种模型类型（扩散模型、LLM、VLM）
- •本地推理，保护隐私
⚠️ 限制
- •项目较新，文档完善度待验证
- •端侧推理性能取决于设备硬件
🔗 相关工具
llama.cpp
github.com/ggml-org/llama.cpp
高性能 C++ LLM 推理引擎，支持在 CPU/GPU 上运行各种开源大语言模型，GGUF 量化格式首创者，本地 AI 生态核心基础设施
🎯本地 LLM 部署、端侧 AI 推理、离线 AI 应用、模型量化和格式转换
llamafile
github.com/mozilla-ai/llamafile
用单个可执行文件分发和运行大型语言模型，支持跨平台本地推理的轻量级方案，无需复杂环境配置即可快速启动 AI 模型
🎯本地运行 LLM 的轻量级方案
Needle
github.com/cactus-compute/needle
将 Gemini 工具调用能力蒸馏到 26M 参数微型模型的开源项目，Hacker News 572 票热评。仅需约 50MB 即可在边缘设备运行工具调用，展示了知识蒸馏在 Agent 领域的可行性，适合端侧部署和低带宽场景。
🎯本地模型运行与推理服务
Apple CoreAI Models
github.com/apple/coreai-models
Apple 官方开源的端侧 AI 模型导出工具，含 Python 原语与 Swift 运行时，1K+ stars。
🎯将 AI 模型导出为 Apple 设备端侧可运行格式
kvpress
github.com/NVIDIA/kvpress
KVPress 是 NVIDIA 开源的 KV Cache 压缩工具，通过智能压缩技术减少大语言模型推理时的显存占用。支持多种压缩算法，显著提升长上下文处理能力。
🎯LLM 推理优化、KV Cache 压缩、长上下文处理
Ollama
github.com/ollama/ollama
本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具
🎯生产环境模型推理服务
