mlflow

Python SDK for Agent AI Observability, Monitoring and Evaluation Framework. Incl...

AI Observability & Evaluation

AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。

🎯 服务器监控、应用性能观测、AI 驱动的异常预警、基础设施运维

高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API

🎯 生产环境 LLM 推理服务、高并发 API 服务、模型部署优化

100+ LLM API 统一 SDK，43,985+ stars。统一的 LLM API 代理和 SDK，支持 OpenAI、Claude、Gemini 等 100+ 模型，提供负载均衡、重试、成本跟踪等企业级功能

🎯 多模型统一接入、LLM 网关、成本优化、高可用 AI 服务架构

🪢 Open source LLM engineering platform: LLM Observability, metrics, evals, prompt management, playground, datasets. Integrates with OpenTelemetry, Langchain, OpenAI SDK, LiteLLM, and more. 🍊YC W23