ESP32 AI

实时交互式 AI 数字人项目，支持本地化部署，端到端延迟低于 1.5 秒，提供高质量的虚拟形象驱动和自然对话能力

🎯虚拟偶像互动、AI 伴侣应用、移动端实时数字人交互体验

Tether Data 开源的 460M 参数视觉语言模型，专为边缘设备优化，在资源受限场景下实现高效推理。

🎯边缘设备视觉语言任务，移动 AI 应用

Google AI Edge 出品的端侧 LLM 推理框架——在移动和边缘设备上高性能部署大语言模型。5.3K+ stars，是 Google 在端侧 AI 领域的正式产品级方案

🎯移动端 AI 应用、离线 LLM 推理、边缘设备智能交互

AI 原生 Markdown 编辑器与 LLM Wiki，1,397 stars。支持 agent-skills、知识库管理、第二大脑构建，TypeScript 构建，开源。

🎯AI 原生知识库与文档管理

Apple 的端侧机器学习框架，用于在 iPhone、iPad、Mac 等设备上部署和加速模型推理，适合隐私敏感和低延迟场景。

🎯在 iOS、macOS 或 iPadOS 应用中部署本地 AI 推理能力。

Cactus Compute 推出的设备端混合推理方案：让 Gemma 4 等模型在本地运行时自带置信度评分，置信度低时自动切换至云端处理，实现端侧与云端的智能混合推理。MIT 开源。约 75 stars。

🎯在设备端运行 LLM 并自动判断何时需要云端兜底，适合对延迟与准确率都有要求的边缘 AI 场景