Cactus Hybrid
NEWCactus Compute 推出的设备端混合推理方案:让 Gemma 4 等模型在本地运行时自带置信度评分,置信度低时自动切换至云端处理,实现端侧与云端的智能混合推理。MIT 开源。约 75 stars。
🎯适用场景:在设备端运行 LLM 并自动判断何时需要云端兜底,适合对延迟与准确率都有要求的边缘 AI 场景
#on-device#hybrid-inference#confidence-scoring#edge-ai#gemma
📊 仓库数据
Stars106
Forks2
语言Shell
协议MIT
上线2026/7/20
更新2026/7/23
✅ 优点
- •端侧推理自带置信度评分,低置信度自动切云端
- •降低端侧模型错误输出风险
- •MIT 开源,可自由部署
⚠️ 限制
- •项目极新(2026-07-20 创建),生产验证不足
- •stars 较少,社区尚在起步
- •语言标注为 Shell,核心逻辑需进一步确认
