dstack

Kubernetes 异构 GPU 共享框架，4,350 stars。支持 NVIDIA、AMD、Intel、华为 Ascend 等多种加速器在 Kubernetes 集群中的混合调度与共享，降低 GPU 闲置率。

🎯在 Kubernetes 集群中混合调度和共享异构 GPU 资源，降低 GPU 闲置率

RunPod 官方的云原生 AI 应用 Python SDK：本地用 @Endpoint 装饰器定义硬件、远程函数与依赖，flash deploy 一键部署到 Serverless GPU/CPU，无需 Docker。MIT 许可。

🎯把本地 Python 函数一键部署到 RunPod Serverless GPU/CPU，免 Docker 的开发体验

Xsight Labs 的边缘 AI 网络交换机，集成 AI 推理能力于网络层。公司估值 $28 亿，最新融资 $3 亿。面向数据中心边缘的 AI 加速。

🎯数据中心边缘 AI 加速、网络层推理

AgentScope 团队开源的多 Agent 协作操作系统，K8s 原生架构，Matrix 协议。支持 Agent 团队编排、资源调度和分布式协作。5,246 stars。

🎯多 Agent 团队编排与分布式协作

CNCF Sandbox 项目，Kubernetes 原生分布式 LLM 推理框架，基于 vLLM 和 Gateway API Inference Extension，提供 prefix-cache 感知路由、prefill/decode 分离、分层 KV offload 和流量/硬件感知自动扩缩。支持 NVIDIA/AMD/Intel 多厂商加速器。Apache-2.0 许可。

🎯在 Kubernetes 上部署高性能分布式 LLM 推理，支持多厂商加速器和智能路由

Rust 编写的超高速 LLM 分词器，宣称比主流分词方案快约 1000 倍，达到 GB/s 级吞吐。面向推理与数据预处理管线中分词成为瓶颈的场景，MIT 开源。HN 高热（166 分）。1003 stars。

🎯推理/数据管线中分词成为瓶颈时的高速替换方案