Xinference
NEW统一的多模型推理平台，通过一行代码即可切换不同 LLM。支持开源模型、语音模型和多模态模型在云端、本地或笔记本电脑上的部署，提供生产级 API 服务。
🎯适用场景：快速部署多种开源 LLM 和多模态模型，统一 API 接口，适合需要同时运行多个模型的团队或企业
📥 收录于 2026/5/25
📊 仓库数据
📈 上次抓取以来 ↑+1 ⭐
✅ 优点
- •一行代码切换模型，API 兼容性极佳
- •支持云端和本地部署，灵活性高
⚠️ 限制
- •部分高级功能需要付费企业版
- •大规模部署时需要较强的 GPU 资源
🔗 相关工具
h4cker
NEW开源⭐ 27k↑+2github.com/The-Art-of-Hacking/h4cker
由安全专家 Omar Santos 维护的综合性网络安全资源库，涵盖道德黑客、漏洞赏金、数字取证和事件响应等数千条学习资源，是安全从业者的必备参考。（26K+ stars）
🎯 网络安全学习、渗透测试资源查找、数字取证参考、AI 安全研究
ncnn
NEW开源⭐ 23kgithub.com/Tencent/ncnn
高性能神经网络推理框架，4.6K+ stars。针对移动端优化的高性能神经网络推理框架，腾讯开源的移动端深度学习推理方案
🎯 移动端/嵌入式高性能神经网络推理部署
onnx
NEW开源⭐ 21k↑+3github.com/onnx/onnx
开放神经网络交换格式（ONNX），21K+ stars。跨框架的 ML 模型表示标准，支持 PyTorch、TensorFlow 等框架间模型转换与互操作，是模型部署生态的基础规范
🎯 跨框架模型格式转换、ONNX 标准模型交换与互操作
Interpret
NEW开源⭐ 6.9kgithub.com/interpretml/interpret
微软开源的可解释 AI 工具库，支持拟合可解释模型和解释黑盒机器学习模型的预测结果，提供可视化的特征重要性分析和模型解释。
🎯 解释黑盒模型的预测逻辑，生成特征重要性可视化报告，满足合规审计要求，适合金融、医疗等需要模型透明度的行业
vLLM
开源⭐ 81k↑+37github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯 生产环境模型推理服务
Netdata
开源⭐ 79k↓2github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯 服务器与基础设施实时监控、AI 异常检测预警