Pulsar

用 Rust 编写的高性能 LLM 推理引擎，主打快速、灵活的本地与服务器端推理，支持多模型格式与量化（UQFF）。MIT 协议，社区活跃，是 Rust 生态主流的推理后端之一。7512 stars。

🎯在 Rust 服务栈中部署高吞吐、低延迟的 LLM 推理

Rust 编写的超高速 LLM 分词器，宣称比主流分词方案快约 1000 倍，达到 GB/s 级吞吐。面向推理与数据预处理管线中分词成为瓶颈的场景，MIT 开源。HN 高热（166 分）。1003 stars。

🎯推理/数据管线中分词成为瓶颈时的高速替换方案

自托管 LLM 路由器，主打低成本、确定性、快速与安全。在多个模型/提供商之间做确定性路由，适合需要可控推理成本与隐私的自托管部署。Rust，Apache-2.0 开源。24 stars。

🎯需要可控成本与隐私的自托管多模型推理路由

全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具

🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务

开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。

🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控

AI 分布式计算引擎，42K+ stars。提供核心分布式运行时和一套 AI 库，加速 ML 工作负载——包括超参数搜索、强化学习、LLM 推理服务等，是大规模 AI 训练和推理的事实标准基础设施

🎯分布式 ML 训练与推理调度、超参数搜索与强化学习