LiteRT-LM
Google AI Edge 出品的端侧 LLM 推理框架——在移动和边缘设备上高性能部署大语言模型。5.3K+ stars，是 Google 在端侧 AI 领域的正式产品级方案
🎯适用场景：移动端 AI 应用、离线 LLM 推理、边缘设备智能交互
📊 仓库数据
✅ 优点
- •Google 官方出品质量有保障
- •端侧部署数据隐私安全
- •针对移动设备深度优化
- •Apache 2.0 开源可商用
⚠️ 限制
- •主要面向移动和边缘设备
- •模型能力受限于端侧资源
- •生态不如 Ollama 成熟
🔗 相关工具
MNN
github.com/alibaba/MNN
阿里巴巴端侧 AI 推理引擎，15K+ stars。轻量高效的移动端和边缘端推理引擎，支持 LLM 端侧部署，在 ARM、RISC-V 等平台上提供极致性能
🎯手机、IoT 等设备上的轻量模型与 LLM 端侧推理部署
ExecuTorch
github.com/pytorch/executorch
PyTorch 端侧 AI 推理引擎，4.6K+ stars。覆盖移动设备、嵌入式和边缘端的 PyTorch 端侧推理方案，支持模型量化、编译和优化部署
🎯将 PyTorch 模型编译部署到手机与嵌入式设备的端侧推理
Needle
github.com/cactus-compute/needle
将 Gemini 工具调用能力蒸馏到 26M 参数微型模型的开源项目，Hacker News 572 票热评。仅需约 50MB 即可在边缘设备运行工具调用，展示了知识蒸馏在 Agent 领域的可行性，适合端侧部署和低带宽场景。
🎯本地模型运行与推理服务
Ollama
github.com/ollama/ollama
本地运行开源大语言模型的最简方案，支持 Llama、Qwen、DeepSeek 等主流模型，一键安装、自动下载模型、提供 OpenAI 兼容 API，是 AI 开发者本地部署的首选工具
🎯生产环境模型推理服务
gpt4free
github.com/xtekky/gpt4free
多模型免费访问平台，66,037+ stars。提供多种大语言模型的免费访问接口，包括 GPT-4、Claude、Gemini 等主流模型的聚合调用方案
🎯本地模型运行与推理服务
LocalAI
github.com/mudler/LocalAI
开源本地 AI 引擎，45,607+ stars。完全兼容 OpenAI API 的本地 AI 推理引擎，支持 LLM、语音识别、图像生成等多种模型，数据完全本地处理保护隐私
🎯生产环境模型推理服务、多模态内容理解与生成