WebLLM
高性能浏览器内 LLM 推理引擎，利用 WebGPU 在浏览器中直接运行 LLM，无需服务器部署
🎯适用场景：在浏览器中直接运行 LLM 实现零服务器部署
📥 收录于 2026/6/11
📊 仓库数据
✅ 优点
- •浏览器内运行无需服务器
- •支持多种 LLM
- •隐私友好
⚠️ 限制
- •依赖 WebGPU 支持
- •性能受硬件限制
🔗 相关工具
IPEX-LLM
github.com/intel/ipex-llm
Intel 开源的本地 LLM 推理加速库，支持 LLaMA、Mistral、ChatGLM、Qwen、DeepSeek 等主流模型在 Intel CPU/GPU 上高效推理，无需 NVIDIA GPU 即可运行大模型，是低成本 AI 部署的理想方案
🎯低成本本地 LLM 推理部署、Intel 硬件上的 AI 服务搭建
Tensorflow
github.com/tensorflow/tensorflow
全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具
🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务
ONNX Models
github.com/onnx/models
ONNX 官方预训练模型集合，涵盖视觉、NLP、音频等多种模态，所有模型以 ONNX 格式提供，可直接用于跨平台部署。
🎯预训练 ONNX 模型获取——适合需要将模型部署到多种硬件平台的开发者，一次训练多端部署
Prometheus
github.com/prometheus/prometheus
开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。
🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控
Ray
github.com/ray-project/ray
AI 分布式计算引擎，42K+ stars。提供核心分布式运行时和一套 AI 库，加速 ML 工作负载——包括超参数搜索、强化学习、LLM 推理服务等，是大规模 AI 训练和推理的事实标准基础设施
🎯分布式 ML 训练与推理调度、超参数搜索与强化学习
LLM Action
github.com/liguodongiot/llm-action
生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具
🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考