HAMi

RunPod 官方的云原生 AI 应用 Python SDK：本地用 @Endpoint 装饰器定义硬件、远程函数与依赖，flash deploy 一键部署到 Serverless GPU/CPU，无需 Docker。MIT 许可。

🎯把本地 Python 函数一键部署到 RunPod Serverless GPU/CPU，免 Docker 的开发体验

Xsight Labs 的边缘 AI 网络交换机，集成 AI 推理能力于网络层。公司估值 $28 亿，最新融资 $3 亿。面向数据中心边缘的 AI 加速。

🎯数据中心边缘 AI 加速、网络层推理

NVIDIA 开源的 AI Agent 技能安全扫描器，专门检测 prompt injection、数据外泄和工具投毒。集成 OSV.dev CVE 查询，支持批量扫描。Apache 2.0 协议。

🎯AI Agent 技能安全扫描、MCP 工具漏洞检测

NVIDIA 开源的 LLM 对话安全护栏工具包，通过可编程规则为 LLM 应用添加内容审核、话题控制和安全防护能力，防止生成有害或不合规内容

🎯企业级 LLM 对话系统安全合规、内容审核、话题边界控制

CNCF Sandbox 项目，Kubernetes 原生分布式 LLM 推理框架，基于 vLLM 和 Gateway API Inference Extension，提供 prefix-cache 感知路由、prefill/decode 分离、分层 KV offload 和流量/硬件感知自动扩缩。支持 NVIDIA/AMD/Intel 多厂商加速器。Apache-2.0 许可。

🎯在 Kubernetes 上部署高性能分布式 LLM 推理，支持多厂商加速器和智能路由

Kubernetes SIGs 项目，Gateway API 的推理扩展，为 Kubernetes 托管的 LLM 服务提供 KV-cache 和请求成本感知的智能调度，优化尾延迟和吞吐量，避免负载增加时的 KV eviction 或队列堆积。Apache-2.0 许可。

🎯为 Kubernetes 上的 LLM 服务提供智能路由，优化尾延迟和吞吐量