Nexa SDK
跨平台 LLM/VLM 推理引擎——在 GPU、NPU 和 CPU 上运行前沿模型。零日模型支持、量化优化、多硬件后端,是端侧 AI 部署的统一推理方案
🎯适用场景:端侧 LLM/VLM 推理运行时,适用于手机、IoT 设备等边缘部署场景
#端侧推理#NPU#量化#跨平台
📊 仓库数据
Stars8,319
Forks1,048
语言Rust
上线2024/6/1
更新2026/8/23
📈 Stars 变化 ↑3 天 +11· 统计区间 8/21 13:15 → 8/24 03:32(3 天)
✅ 优点
- •GPU/NPU/CPU 多后端支持
- •零日模型快速适配
- •量化优化降低资源需求
- •Qualcomm 官方维护
⚠️ 限制
- •Qualcomm 硬件生态绑定较强
- •文档和教程较少
- •非 Qualcomm 平台支持有限
