LLM Guard
ProtectAI 出品的 LLM 交互安全工具包，提供输入输出双重防护、敏感信息检测、Prompt 注入防御和对抗攻击检测，覆盖 LLM 全链路安全防护
🎯适用场景：LLM 应用的 Prompt 注入防御、敏感内容过滤、安全合规审计
📥 收录于 2026/6/4
📊 仓库数据
✅ 优点
- •输入输出双向防护覆盖全面的安全场景
- •开源可自部署，数据不出本地
⚠️ 限制
- •检测规则配置较细粒度，初始调优需要时间
- •部分检测模型有一定推理开销
🔗 相关工具
AI Red Teaming Playground Labs
github.com/microsoft/AI-Red-Teaming-Playground-Labs
微软官方 AI 红队训练演练场，提供完整的训练基础设施和场景化练习环境，帮助团队学习 AI 安全测试和红队评估的最佳实践
🎯AI 安全团队红队训练、Prompt 注入攻防演练、安全评估能力建设
vLLM
github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯生产环境模型推理服务
Netdata
github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯服务器与基础设施实时监控、AI 异常检测预警
Grafana
github.com/grafana/grafana
开源可观测性和数据可视化平台。支持可视化指标、日志、追踪等多源数据，兼容 Prometheus、Loki、Elasticsearch、InfluxDB 等后端。是 MLOps 团队监控模型和基础设施的首选仪表盘工具。
🎯MLOps 模型监控仪表盘、AI 服务指标可视化、训练任务实时追踪
Prometheus
github.com/prometheus/prometheus
开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。
🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控
RTK
github.com/rtk-ai/rtk
CLI 代理层，减少 60-90% 的 LLM token 消耗。Rust 编写的单二进制文件，零依赖，支持 Claude Code、Codex、Cursor 等主流 AI 编码工具。通过本地代理缓存和智能去重，大幅降低日常开发中的 token 成本
🎯AI 辅助编程与代码生成