Shimmy

高性能浏览器内 LLM 推理引擎，利用 WebGPU 在浏览器中直接运行 LLM，无需服务器部署

🎯在浏览器中直接运行 LLM 实现零服务器部署

纯 C 零依赖推理引擎，可在 25GB RAM 消费级机器上运行 GLM-5.2 744B MoE 模型。通过 per-layer LRU cache 从磁盘流式加载 21,504 个路由专家（~370GB），仅保持密集部分（~9.9GB int4）在内存中。Apple M5 Max 128GB 可达 ~1 tok/s。Apache 2.0 许可。

🎯在消费级硬件上本地运行 744B 参数 MoE 模型——无需 GPU 集群

Rust 编写的全能 LLM CLI 工具，集成 Shell 助手、Chat-REPL 交互式对话、RAG 文档检索、AI 工具与 Agent 等多种模式。支持 OpenAI、Claude、Gemini、Ollama 等 20+ LLM 提供商，可配置多角色和自定义 Prompt。Rust 实现带来极快的启动速度和极低的资源占用，是终端用户和开发者高效使用 AI 的首选命令行工具

🎯生产环境模型推理服务

Intel 开源的本地 LLM 推理加速库，支持 LLaMA、Mistral、ChatGLM、Qwen、DeepSeek 等主流模型在 Intel CPU/GPU 上高效推理，无需 NVIDIA GPU 即可运行大模型，是低成本 AI 部署的理想方案

🎯低成本本地 LLM 推理部署、Intel 硬件上的 AI 服务搭建

全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具

🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务

开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。

🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控