Xinference

高性能神经网络推理框架，4.6K+ stars。针对移动端优化的高性能神经网络推理框架，腾讯开源的移动端深度学习推理方案

🎯移动端/嵌入式高性能神经网络推理部署

Meta 推出的 Llama 4 系列模型统一部署栈，支持推理、微调和多模型路由，4 月新增 6,400+ 星。提供标准化的 API 接口和工具链，覆盖从模型加载、推理服务、微调到评估的全流程，简化 Llama 系列模型的部署和运维，是 Llama 生态的官方基础设施

🎯多模型 API 统一接入与路由

Cactus Compute 推出的设备端混合推理方案：让 Gemma 4 等模型在本地运行时自带置信度评分，置信度低时自动切换至云端处理，实现端侧与云端的智能混合推理。MIT 开源。约 75 stars。

🎯在设备端运行 LLM 并自动判断何时需要云端兜底，适合对延迟与准确率都有要求的边缘 AI 场景

全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具

🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务

开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。

🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控

AI 分布式计算引擎，42K+ stars。提供核心分布式运行时和一套 AI 库，加速 ML 工作负载——包括超参数搜索、强化学习、LLM 推理服务等，是大规模 AI 训练和推理的事实标准基础设施

🎯分布式 ML 训练与推理调度、超参数搜索与强化学习