UQLM
CVS Health 出品的 LLM 幻觉检测工具，1200+ stars。基于不确定性量化的语言模型幻觉检测 Python 包，提供置信度评分和幻觉缓解策略，是 AI 安全与合规的重要工具
🎯适用场景：LLM 输出可靠性检测，AI 安全合规审计，模型评估
📊 仓库数据
✅ 优点
- •CVS Health（大型医疗企业）出品，可靠性有背书
- •基于不确定性量化，方法论科学
- •Python 包形式，易于集成到现有 pipeline
⚠️ 限制
- •功能相对单一，仅做幻觉检测
- •需要配合其他工具使用
🔗 相关工具
AI Infra Guard
开源⭐ 3.8k↓5github.com/Tencent/AI-Infra-Guard
全栈 AI 红队测试平台，3.7K+ stars。腾讯安全出品，覆盖 OpenClaw 安全扫描、Agent 扫描、Skills 扫描、MCP 扫描、AI 基础设施扫描和 LLM 越狱评估，是 AI 安全领域的综合性红队工具
🎯 MCP 工具协议集成、AI 安全与合规防护
vLLM
开源⭐ 81k↑+17github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯 生产环境模型推理服务
Netdata
开源⭐ 79k↑+5github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯 服务器与基础设施实时监控、AI 异常检测预警
RTK
开源⭐ 53k↑+167github.com/rtk-ai/rtk
CLI 代理层，减少 60-90% 的 LLM token 消耗。Rust 编写的单二进制文件，零依赖，支持 Claude Code、Codex、Cursor 等主流 AI 编码工具。通过本地代理缓存和智能去重，大幅降低日常开发中的 token 成本
🎯 AI 辅助编程与代码生成
LiteLLM
开源⭐ 48k↑+33github.com/BerriAI/litellm
100+ LLM API 统一 SDK，48K+ stars。统一的 LLM API 代理和 SDK，支持 OpenAI、Claude、Gemini 等所有主流模型，一个接口调用所有模型，是 AI 编码的瑞士军刀
🎯 多模型 API 统一接入与路由
Kong API Gateway
开源⭐ 43kgithub.com/kong/kong
Magicrew 开源 AI 生产力平台，5.2K+ stars。首个开源全合一 AI 生产力平台，集成多种 AI 工具和工作流
🎯 AI 工作流编排与自动化、MCP 工具协议集成