CrabTrap
Brex 出品的 LLM-as-a-Judge HTTP 代理，专为生产环境 AI Agent 安全设计。CrabTrap 以反向代理形式部署在 Agent 与 LLM API 之间，利用另一个 LLM 作为「法官」实时审查 Agent 的请求和响应，拦截越权操作、Prompt 注入、数据泄露和有害输出。Go 语言实现，性能优异，可直接集成到任何 LLM 调用链中。在 Agent 安全从「测试时评估」走向「运行时防护」的趋势下，CrabTrap 代表了生产级 Agent 安全的新范式。
🎯适用场景：生产环境 Agent 安全防护、Prompt 注入防御、合规审查、数据泄露防护
📊 仓库数据
📈 上次抓取以来 ↑+7 ⭐
✅ 优点
- •运行时实时防护，而非事后评估
- •LLM-as-a-Judge 审查精准度高
- •HTTP 代理模式零侵入，部署简单
- •Go 实现性能优异，适合高吞吐场景
- •Brex 生产环境验证，可信度高
⚠️ 限制
- •增加一次 LLM 调用延迟和成本
- •规则策略需要针对场景定制
- •项目较新，社区案例较少
🔗 相关工具
Llama Stack
开源⭐ 27kgithub.com/meta-llama/llama-stack
Meta 推出的 Llama 4 系列模型统一部署栈，支持推理、微调和多模型路由，4 月新增 6,400+ 星。提供标准化的 API 接口和工具链，覆盖从模型加载、推理服务、微调到评估的全流程，简化 Llama 系列模型的部署和运维，是 Llama 生态的官方基础设施
🎯 Llama 模型统一部署、微调流水线、多模型路由服务
Promptfoo
开源⭐ 21k↑+38github.com/promptfoo/promptfoo
LLM 安全测试和红队评估工具，支持 prompt injection 检测、数据泄漏测试、输出评估，10,000+ stars
🎯 LLM 安全评估、红队测试
DFlash
开源⭐ 2.4k↑+25github.com/z-lab/dflash
Block Diffusion for Flash Speculative Decoding，加速 LLM 推理的新型解码方法。通过推测解码 + 块扩散显著降低 LLM 推理延迟，GitHub 1.3k stars。在保持输出质量的同时，将推理吞吐量提升数倍，是大模型高效推理的前沿研究方向
🎯 LLM 推理性能优化、高吞吐推理场景、学术研究
Netdata
开源⭐ 79k↑+13github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯 服务器监控、应用性能观测、AI 驱动的异常预警、基础设施运维
vLLM
开源⭐ 78k↑+92github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯 生产环境 LLM 推理服务、高并发 API 服务、模型部署优化
LiteLLM
开源⭐ 45k↑+115github.com/BerriAI/litellm
100+ LLM API 统一 SDK，43,985+ stars。统一的 LLM API 代理和 SDK，支持 OpenAI、Claude、Gemini 等 100+ 模型，提供负载均衡、重试、成本跟踪等企业级功能
🎯 多模型统一接入、LLM 网关、成本优化、高可用 AI 服务架构