onnx

开源推理 & 评测21k↑+3

高性能神经网络推理框架,4.6K+ stars。针对移动端优化的高性能神经网络推理框架,腾讯开源的移动端深度学习推理方案

#ai#artificial-intelligence#deep-learning#deep-neural-networks#dnn

📊 仓库数据

Stars20,857
Forks3,930
语言Python
协议Apache-2.0
上线2017/9/7
更新2026/5/20

📈 上次抓取以来 ↑+3

优点

  • GitHub 21K+ stars,社区活跃
  • Python 生态友好
  • 开源免费

⚠️ 限制

  • 需要 Python 环境
  • 学习曲线较陡
  • 文档可能需要完善

🔗 相关工具

netron

开源33k↑+3

github.com/lutzroeder/netron

神经网络可视化工具,5K+ stars。神经网络、深度学习和机器学习模型的可视化工具,支持多种模型格式

#ai#coreml#deep-learning#deeplearning+1
语言JavaScript
🍴 Forks3,119
📅 上线2010/12/26
🔄 更新2026/5/20
访问工具 →

mlflow

开源26k↑+4

github.com/mlflow/mlflow

开源 AI 工程平台,26K+ stars。面向 Agent、LLM 和 ML 模型的端到端生命周期管理平台,支持实验追踪、模型注册、部署和监控

#agentops#agents#ai#ai-governance+1
语言Python
🍴 Forks5,755
🔄 更新2026/5/20
访问工具 →

ncnn

开源23k↑+1

github.com/Tencent/ncnn

高性能神经网络推理框架,4.6K+ stars。针对移动端优化的高性能神经网络推理框架,腾讯开源的移动端深度学习推理方案

#android#arm-neon#artificial-intelligence#caffe+1
语言C++
🍴 Forks4,426
📅 上线2017/6/30
🔄 更新2026/5/20
访问工具 →

onnxruntime

开源21k↑+3

github.com/microsoft/onnxruntime

ONNX 推理加速引擎,4.4K+ stars。ONNX Runtime 跨平台高性能 ML 推理和训练加速器,支持多种硬件后端

#ai-framework#deep-learning#hardware-acceleration#machine-learning+1
语言C++
🍴 Forks3,926
📅 上线2018/11/10
🔄 更新2026/5/20
访问工具 →

vLLM

开源81k↑+19

github.com/vllm-project/vllm

高吞吐 LLM 推理引擎,77,418+ stars。采用 PagedAttention 显存优化技术,吞吐量比 HuggingFace Transformers 高 24 倍,是生产环境部署大模型推理的首选方案,支持 OpenAI 兼容 API

🎯 生产环境 LLM 推理服务、高并发 API 服务、模型部署优化

#推理引擎#高性能#PagedAttention#生产部署
语言Python
🍴 Forks17,007
📅 上线2023/2/9
🔄 更新2026/5/20
访问工具 →

Netdata

开源79k↑+3

github.com/netdata/netdata

AI 全栈可观测性平台,78,515+ stars。实时监控服务器性能、应用指标和网络流量,内置 AI 异常检测引擎,自动发现并预警系统问题。零配置、开箱即用,每秒采集数千指标,是最轻量的基础设施监控方案。

🎯 服务器监控、应用性能观测、AI 驱动的异常预警、基础设施运维

#可观测性#监控#AI 异常检测#基础设施
语言C
🍴 Forks6,442
📅 上线2016/8/1
🔄 更新2026/5/20
访问工具 →