Core ML

Google AI Edge 出品的端侧 LLM 推理框架——在移动和边缘设备上高性能部署大语言模型。5.3K+ stars，是 Google 在端侧 AI 领域的正式产品级方案

🎯移动端 AI 应用、离线 LLM 推理、边缘设备智能交互

实时交互式 AI 数字人项目，支持本地化部署，端到端延迟低于 1.5 秒，提供高质量的虚拟形象驱动和自然对话能力

🎯虚拟偶像互动、AI 伴侣应用、移动端实时数字人交互体验

在 ESP32-S3 微控制器上原生运行 28.9M 参数语言模型，无需联网、完全端侧推理，以 9.88 tokens/秒 在小型屏幕上显示生成文本。4K stars，MIT 许可。

🎯在 ESP32 微控制器上运行端侧 LLM，适合嵌入式 AI 原型与离线生成场景

AI 原生 Markdown 编辑器与 LLM Wiki，1,397 stars。支持 agent-skills、知识库管理、第二大脑构建，TypeScript 构建，开源。

🎯AI 原生知识库与文档管理

Tether Data 开源的 460M 参数视觉语言模型，专为边缘设备优化，在资源受限场景下实现高效推理。

🎯边缘设备视觉语言任务，移动 AI 应用

微软官方 Edge AI 入门课，8 模块覆盖 SLM 选型、端侧部署、跨平台优化（Llama.cpp / Olive / OpenVINO / MLX）、SLMOps 生产化与端侧 Agent / MCP 集成。50+ 语言翻译，MIT 开源。

🎯系统学习端侧 AI 部署，从 SLM 选型到生产化与 Agent 集成