trulens
LLM 评估和追踪框架，帮助开发者系统性地评估大语言模型和 Agent 的性能、安全性和可靠性，支持多种评估指标。
🎯适用场景：评估和监控生产环境中 LLM 和 Agent 的输出质量
📥 收录于 2026/6/3
📊 仓库数据
✅ 优点
- •支持多种评估维度
- •与主流 Agent 框架集成
- •开源免费
⚠️ 限制
- •配置较为复杂
- •大规模评估性能有限
- •文档不够完善
🔗 相关工具
awesome-free-llm-apis
github.com/mnfst/awesome-free-llm-apis
汇总了所有提供免费 LLM API 密钥的服务列表，覆盖多家主流大模型厂商，帮助开发者快速获取可用的 API 进行原型开发。
🎯快速获取免费 LLM API 进行原型开发和测试
ai-agents-from-scratch
github.com/pguso/ai-agents-from-scratch
通过从零构建 AI Agent 的方式深入讲解大模型 Agent 的原理，涵盖本地 LLM 部署、函数调用、记忆管理和 ReAct 模式等核心概念。
🎯学习 AI Agent 的底层原理和实现方法
latitude-llm
github.com/latitude-dev/latitude-llm
开源 Agent 工程平台，提供 Agent 监控、可观测性、错误追踪等全链路管理能力，帮助团队构建和生产级 AI 应用。
🎯构建和生产级 AI Agent 应用的全链路管理
Transformers
github.com/huggingface/transformers
Hugging Face 核心模型库，159,648+ stars。支持 200K+ 预训练模型，覆盖 NLP、计算机视觉、音频、多模态等全领域，提供统一 API 接口，是 AI 开发者的必备基础设施
🎯多模型 API 统一接入与路由
LangChain
github.com/langchain-ai/langchain
最流行的 LLM 应用开发框架，137K+ stars。提供链式编排、RAG 检索增强生成、Agent 构建等核心能力，覆盖 Python 和 JavaScript 双语言生态，是构建 LLM 应用的基础设施
🎯LLM 应用快速开发
Supabase
github.com/supabase/supabase
Postgres 开发平台，101,199+ stars。开源 Firebase 替代方案，内置向量数据库支持 pgvector，是构建 AI 应用（RAG、Agent）的理想后端基础设施。提供实时数据库、认证、存储、Edge Functions 等全栈能力。
🎯LLM 应用快速开发