Synapse (MoE)

在单台 Apple Silicon Mac 上运行 Kimi K3（2.8T 参数 MoE 模型）。通过 HTTP 按需流式传输 MXFP4 专家，融合 NEON 内核和 Metal/MPS 计算。Python 编写，166 stars。

🎯在消费级 Apple Silicon 设备上本地运行超大 MoE 模型

面向超大规模 MoE 模型的 SSD 流式推理引擎，用 Rust + CUDA 实现，可在消费级双 GPU 上以 SSD 流式方式运行 743B 级模型（GLM 5.2 约 2 tok/s）。适合低显存场景部署巨型模型。59 stars。

🎯在显存有限的消费级硬件上部署 700B+ 级 MoE 模型

全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具

🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务

开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。

🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控

AI 分布式计算引擎，42K+ stars。提供核心分布式运行时和一套 AI 库，加速 ML 工作负载——包括超参数搜索、强化学习、LLM 推理服务等，是大规模 AI 训练和推理的事实标准基础设施

🎯分布式 ML 训练与推理调度、超参数搜索与强化学习

生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具

🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考