mistral.rs

开源推理 & 运维 › 推理引擎⭐ 7.5k

用 Rust 编写的高性能 LLM 推理引擎，主打快速、灵活的本地与服务器端推理，支持多模型格式与量化（UQFF）。MIT 协议，社区活跃，是 Rust 生态主流的推理后端之一。7512 stars。

🎯适用场景：在 Rust 服务栈中部署高吞吐、低延迟的 LLM 推理

#llm-inference#rust#serving#quantization#uqff

📥 收录于 2026/7/23

访问工具 📖 官方文档

📊 仓库数据

Stars7,512

Forks664

语言Rust

协议MIT

上线2024/2/26

更新2026/7/23

✅ 优点

•Rust 高性能推理
•支持量化与多格式
•MIT 协议社区活跃

⚠️ 限制

•编译依赖较重
•上手有一定门槛

🔗 相关工具

LLM Action

开源⭐ 25k↑+3

github.com/liguodongiot/llm-action

生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具

🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考

#大语言模型#llm-inference#llm-serving#llm-training+1

GigaToken

开源⭐ 1.0k↑+57

github.com/marcelroed/gigatoken

Rust 编写的超高速 LLM 分词器，宣称比主流分词方案快约 1000 倍，达到 GB/s 级吞吐。面向推理与数据预处理管线中分词成为瓶颈的场景，MIT 开源。HN 高热（166 分）。1003 stars。

🎯推理/数据管线中分词成为瓶颈时的高速替换方案

#tokenizer#rust#inference#performance+1

Pulsar

NEW开源⭐ 59

github.com/giannisanni/pulsar

面向超大规模 MoE 模型的 SSD 流式推理引擎，用 Rust + CUDA 实现，可在消费级双 GPU 上以 SSD 流式方式运行 743B 级模型（GLM 5.2 约 2 tok/s）。适合低显存场景部署巨型模型。59 stars。

🎯在显存有限的消费级硬件上部署 700B+ 级 MoE 模型

#moe#inference-engine#ssd-streaming#rust+1

Millwright

开源⭐ 24

github.com/Northwood-Systems/millwright

自托管 LLM 路由器，主打低成本、确定性、快速与安全。在多个模型/提供商之间做确定性路由，适合需要可控推理成本与隐私的自托管部署。Rust，Apache-2.0 开源。24 stars。

🎯需要可控成本与隐私的自托管多模型推理路由

#llm-router#self-hosted#inference#rust+1

Tensorflow

开源⭐ 196k↑+4

github.com/tensorflow/tensorflow

全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具

🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务

#深度学习#deep-neural-networks#分布式#机器学习+1

Prometheus

开源⭐ 65k↑+3

github.com/prometheus/prometheus

开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。

🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控