LiteRT-LM
Google AI Edge 出品的端侧 LLM 推理框架——在移动和边缘设备上高性能部署大语言模型。5.3K+ stars，是 Google 在端侧 AI 领域的正式产品级方案
🎯适用场景：移动端 AI 应用、离线 LLM 推理、边缘设备智能交互
📊 仓库数据
📈 Stars 变化 ↑12 小时 +5· 统计区间 7/16 22:42 → 7/17 10:26（12 小时）
✅ 优点
- •Google 官方出品质量有保障
- •端侧部署数据隐私安全
- •针对移动设备深度优化
- •Apache 2.0 开源可商用
⚠️ 限制
- •主要面向移动和边缘设备
- •模型能力受限于端侧资源
- •生态不如 Ollama 成熟
🔗 相关工具
Core ML
developer.apple.com/machine-learning/core-ml/
Apple 的端侧机器学习框架，用于在 iPhone、iPad、Mac 等设备上部署和加速模型推理，适合隐私敏感和低延迟场景。
🎯在 iOS、macOS 或 iPadOS 应用中部署本地 AI 推理能力。
Duix Mobile
github.com/duixcom/Duix-Mobile
实时交互式 AI 数字人项目，支持本地化部署，端到端延迟低于 1.5 秒，提供高质量的虚拟形象驱动和自然对话能力
🎯虚拟偶像互动、AI 伴侣应用、移动端实时数字人交互体验
Open Knowledge
github.com/inkeep/open-knowledge
AI 原生 Markdown 编辑器与 LLM Wiki，1,397 stars。支持 agent-skills、知识库管理、第二大脑构建，TypeScript 构建，开源。
🎯AI 原生知识库与文档管理
Runanywhere SDKs
github.com/RunanywhereAI/runanywhere-sdks
跨平台 AI 推理工具包，支持在 Android/iOS/Web/Flutter 等端侧运行扩散模型、LLM、VLM 等多模态模型，主打本地推理。
🎯移动端/端侧 AI 推理、离线 AI 应用开发、边缘计算场景
MNN
github.com/alibaba/MNN
阿里巴巴端侧 AI 推理引擎，15K+ stars。轻量高效的移动端和边缘端推理引擎，支持 LLM 端侧部署，在 ARM、RISC-V 等平台上提供极致性能
🎯手机、IoT 等设备上的轻量模型与 LLM 端侧推理部署
ExecuTorch
github.com/pytorch/executorch
PyTorch 端侧 AI 推理引擎，4.6K+ stars。覆盖移动设备、嵌入式和边缘端的 PyTorch 端侧推理方案，支持模型量化、编译和优化部署
🎯将 PyTorch 模型编译部署到手机与嵌入式设备的端侧推理
