MNN
阿里巴巴端侧 AI 推理引擎，15K+ stars。轻量高效的移动端和边缘端推理引擎，支持 LLM 端侧部署，在 ARM、RISC-V 等平台上提供极致性能
🎯适用场景：手机、IoT 等设备上的轻量模型与 LLM 端侧推理部署
📥 收录于 2026/5/27
📊 仓库数据
📈 Stars 变化 ↑12 小时 +4· 统计区间 7/10 12:08 → 7/11 00:11（12 小时）
✅ 优点
- •移动端/嵌入式推理性能优秀
- •支持多后端与模型量化
- •阿里生态持续维护
- •15K+ stars 端侧部署案例多
⚠️ 限制
- •文档以中文/英文混合，国际化一般
- •大模型端侧仍受设备算力限制
- •模型转换链路需一定工程经验
- •与 PyTorch 训练栈衔接需转换步骤
🔗 相关工具
ExecuTorch
github.com/pytorch/executorch
PyTorch 端侧 AI 推理引擎，4.6K+ stars。覆盖移动设备、嵌入式和边缘端的 PyTorch 端侧推理方案，支持模型量化、编译和优化部署
🎯将 PyTorch 模型编译部署到手机与嵌入式设备的端侧推理
BitNet
github.com/microsoft/bitnet
微软 1-bit LLM 官方推理框架，将模型权重量化为 1-bit，大幅降低推理成本
🎯金融 AI 应用与量化分析
AirLLM
github.com/lyogavin/airllm
仅需单张 4GB GPU 即可运行 70B 大模型推理。采用层卸载和量化技术，让消费级显卡也能跑超大模型，是资源受限场景下大模型推理的破局方案
🎯消费级 GPU 上的大模型推理、低资源 LLM 部署场景
bitsandbytes
github.com/bitsandbytes-foundation/bitsandbytes
PyTorch k-bit 量化库，让大语言模型可在消费级 GPU 上运行。支持 4-bit/8-bit 量化、QLoRA 微调，是本地部署大模型的核心工具。8.2K+ stars。
🎯大模型消费级 GPU 部署、QLoRA 微调、内存优化推理
Kronos
github.com/shiyu-coder/Kronos
面向金融市场的 Foundation Model，将金融市场语言建模为序列预测问题。支持金融时间序列分析、市场趋势预测和量化交易策略生成。由 shiyu-coder 团队开发，GitHub 20K+ 星，周增 3200+ 星，是金融 AI 领域增长最快的项目之一。采用类 Transformer 架构处理结构化金融数据，可对接主流交易 API。
🎯金融时间序列预测、量化交易策略生成、市场趋势分析
UniLM
github.com/microsoft/unilm
UniLM 是微软的统一预训练模型仓库，涵盖跨任务、跨语言、跨模态的大规模自监督预训练。包含 BEiT、LayoutLM、Kosmos、TextDiffuser 等多个经典模型，是多模态 AI 研究的重要参考资源。22K+ stars。
🎯多模态预训练模型研究、文档 AI、视觉语言模型开发
