Airbyte
Airbyte 是一个开源的数据移动平台,用于 ELT 管道和 AI Agent 的数据集成。支持从 API、数据库、文件到数据仓库、数据湖和 AI 应用的数据同步,支持自托管和云端部署。21K+ stars。
🎯适用场景:AI 应用数据集成、数据仓库同步、跨系统数据迁移
📥 收录于 2026/6/3
📊 仓库数据
📈 Stars 变化 ↑9 小时 +6· 统计区间 7/17 20:11 → 7/18 05:19(9 小时)
✅ 优点
- •连接器数量行业领先
- •支持自托管和云端
- •AI Agent 数据集成支持
- •开源社区活跃
⚠️ 限制
- •部分高级连接器需要付费版
- •大规模数据处理性能有限
- •运维需要一定技术门槛
🔗 相关工具
snowplow
github.com/snowplow/snowplow
领先的用户行为数据基础设施平台,支持全渠道数据采集、实时处理和 AI 分析。可追踪用户与 AI 产品的交互行为,为模型优化提供数据支撑。7K+ stars。
🎯AI 产品用户行为分析、模型使用数据采集、产品优化决策
Data Juicer
github.com/datajuicer/data-juicer
面向基础模型的数据处理工具包,提供数据清洗、去重、过滤、增强等全流程处理能力。支持多模态数据处理,是构建高质量 AI 训练数据集的利器。6.4K+ stars。
🎯AI 训练数据清洗与增强、多模态数据集构建、数据质量评估
PostHog
github.com/posthog/posthog
🦔 全栈开发者平台,54K+ stars。构建成功产品的全栈开发者平台,提供产品分析、会话录制、功能标志等能力
🎯产品数据分析与 A/B 测试
AI-Expert-Roadmap
github.com/AMAI-GmbH/AI-Expert-Roadmap
AI 工程师学习路线图,31K+ stars。从机器学习基础到深度学习、NLP、计算机视觉、大模型,以可视化路线图形式展示 AI 学习路径和技能要求
🎯AI 学习路径规划、技能体系构建、职业发展方向参考
debezium
github.com/debezium/debezium
开源变更数据捕获(CDC)平台,支持多种数据库的实时数据变更流。可与 Apache Kafka 无缝集成,将数据库变更转化为事件流,适用于 AI 数据管道和实时数据同步场景。12.7K+ stars。
🎯AI 训练数据实时同步、数据库变更事件流、多数据源聚合管道
Firecrawl
github.com/firecrawl/firecrawl
AI 友好的网页抓取 API,支持 URL → Markdown/结构化数据,110K+ stars。专为 LLM 应用设计,自动处理 JS 渲染、分页、反爬,是 RAG 系统的理想数据源
🎯网页自动化与数据采集
