Core ML
Apple 的端侧机器学习框架，用于在 iPhone、iPad、Mac 等设备上部署和加速模型推理，适合隐私敏感和低延迟场景。
🎯适用场景：在 iOS、macOS 或 iPadOS 应用中部署本地 AI 推理能力。
✅ 优点
- •深度集成 Apple 硬件和系统能力
- •适合低延迟、离线和隐私敏感应用
- •支持模型转换、压缩和端侧优化工作流
⚠️ 限制
- •主要面向 Apple 生态，跨平台能力有限
- •复杂模型适配仍需要移动端性能调优经验
🔗 相关工具
LiteRT-LM
github.com/google-ai-edge/LiteRT-LM
Google AI Edge 出品的端侧 LLM 推理框架——在移动和边缘设备上高性能部署大语言模型。5.3K+ stars，是 Google 在端侧 AI 领域的正式产品级方案
🎯移动端 AI 应用、离线 LLM 推理、边缘设备智能交互
Duix Mobile
github.com/duixcom/Duix-Mobile
实时交互式 AI 数字人项目，支持本地化部署，端到端延迟低于 1.5 秒，提供高质量的虚拟形象驱动和自然对话能力
🎯虚拟偶像互动、AI 伴侣应用、移动端实时数字人交互体验
Open Knowledge
github.com/inkeep/open-knowledge
AI 原生 Markdown 编辑器与 LLM Wiki，1,397 stars。支持 agent-skills、知识库管理、第二大脑构建，TypeScript 构建，开源。
🎯AI 原生知识库与文档管理
Apple CoreAI Models
github.com/apple/coreai-models
Apple 官方开源的端侧 AI 模型导出工具，含 Python 原语与 Swift 运行时，1K+ stars。
🎯将 AI 模型导出为 Apple 设备端侧可运行格式
MNN
github.com/alibaba/MNN
阿里巴巴端侧 AI 推理引擎，15K+ stars。轻量高效的移动端和边缘端推理引擎，支持 LLM 端侧部署，在 ARM、RISC-V 等平台上提供极致性能
🎯手机、IoT 等设备上的轻量模型与 LLM 端侧推理部署
Runanywhere SDKs
github.com/RunanywhereAI/runanywhere-sdks
跨平台 AI 推理工具包，支持在 Android/iOS/Web/Flutter 等端侧运行扩散模型、LLM、VLM 等多模态模型，主打本地推理。
🎯移动端/端侧 AI 推理、离线 AI 应用开发、边缘计算场景
