Headroom
LLM 上下文压缩工具,可自动压缩工具输出、日志、文件和 RAG 分块,在发送到 LLM 前将 token 消耗降低 60%。12K+ stars。
🎯适用场景:LLM 上下文压缩、Token 成本优化、RAG 系统输出预处理
📥 收录于 2026/6/5
📊 仓库数据
✅ 优点
- •降低 60% token 消耗
- •支持多种压缩策略
- •RAG 场景特别有效
⚠️ 限制
- •压缩可能丢失部分信息
- •需要调整压缩参数
🔗 相关工具
AdalFlow
github.com/SylphAI-Inc/AdalFlow
构建和自动优化 LLM 应用的库,4.1K+ stars。支持 Agent、Auto-prompting、BM25、RAG 等能力,是可以自我优化提示词的新一代 LLM 框架
🎯LLM 应用开发与提示词自动优化
Transformers
github.com/huggingface/transformers
Hugging Face 核心模型库,159,648+ stars。支持 200K+ 预训练模型,覆盖 NLP、计算机视觉、音频、多模态等全领域,提供统一 API 接口,是 AI 开发者的必备基础设施
🎯多模型 API 统一接入与路由
LangChain
github.com/langchain-ai/langchain
最流行的 LLM 应用开发框架,137K+ stars。提供链式编排、RAG 检索增强生成、Agent 构建等核心能力,覆盖 Python 和 JavaScript 双语言生态,是构建 LLM 应用的基础设施
🎯LLM 应用快速开发
Supabase
github.com/supabase/supabase
Postgres 开发平台,101,199+ stars。开源 Firebase 替代方案,内置向量数据库支持 pgvector,是构建 AI 应用(RAG、Agent)的理想后端基础设施。提供实时数据库、认证、存储、Edge Functions 等全栈能力。
🎯LLM 应用快速开发
immich
github.com/immich-app/immich
高性能自托管照片视频管理,5.5K+ stars。高性能自托管照片和视频管理方案,支持 AI 人脸识别、场景分类和智能搜索
🎯LLM 应用快速开发
LlamaFactory
github.com/hiyouga/LlamaFactory
统一高效微调 100+ 大模型,71K+ stars。支持 100+ LLM 和 VLM 的高效微调框架(ACL 2024 论文收录)
🎯大模型微调与训练