Agenta
开源 LLMOps 平台，4.1K+ stars。集合 Prompt Playground、Prompt 管理、LLM 评估和可观测性于一体，支持 LLM-as-a-Judge 评估、RAG 评估和多模型对比，是 LLM 应用开发的质量保障基础设施
🎯适用场景：LLM 应用开发与质量保障
📊 仓库数据
✅ 优点
- •Prompt/评估/观测一站式
- •LLM-as-a-Judge 内置评估
- •支持多框架集成
- •Docker 一键部署
⚠️ 限制
- •项目相对较新
- •大规模评估性能待验证
- •部分高级功能需云版
🔗 相关工具
Netdata
开源⭐ 79k↑+2github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯 服务器与基础设施实时监控、AI 异常检测预警
Giskard OSS
开源⭐ 5.4kgithub.com/Giskard-AI/giskard-oss
开源 LLM Agent 评估与测试库，5K+ stars。覆盖 Agent 评估、AI 红队测试、公平性检测等能力，是 LLM 安全评测的重要工具
🎯 LLM/Agent 上线前的安全评估、红队测试、偏见检测、合规性审计
PromptBench
开源⭐ 2.8kgithub.com/microsoft/promptbench
微软大语言模型评估工具，支持对抗性 prompt 测试、鲁棒性评估、多模型对比，4,000+ stars
🎯 Prompt 鲁棒性评测、对抗性测试与多模型对比
vLLM
开源⭐ 81k↑+27github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯 生产环境模型推理服务
RTK
开源⭐ 54k↑+116github.com/rtk-ai/rtk
CLI 代理层，减少 60-90% 的 LLM token 消耗。Rust 编写的单二进制文件，零依赖，支持 Claude Code、Codex、Cursor 等主流 AI 编码工具。通过本地代理缓存和智能去重，大幅降低日常开发中的 token 成本
🎯 AI 辅助编程与代码生成
LiteLLM
开源⭐ 48k↑+27github.com/BerriAI/litellm
100+ LLM API 统一 SDK，48K+ stars。统一的 LLM API 代理和 SDK，支持 OpenAI、Claude、Gemini 等所有主流模型，一个接口调用所有模型，是 AI 编码的瑞士军刀
🎯 多模型 API 统一接入与路由