Airbyte

Airbyte 是一个开源的数据移动平台,用于 ELT 管道和 AI Agent 的数据集成。支持从 API、数据库、文件到数据仓库、数据湖和 AI 应用的数据同步,支持自托管和云端部署。21K+ stars。

🎯适用场景:AI 应用数据集成、数据仓库同步、跨系统数据迁移

#Bigquery#Change-data-capture#Data#数据分析

📥 收录于 2026/6/3

📊 仓库数据

Stars21,647
Forks5,258
语言Python
更新2026/7/18

📈 Stars 变化 9 小时 +6· 统计区间 7/17 20:11 → 7/18 05:19(9 小时)

优点

  • 连接器数量行业领先
  • 支持自托管和云端
  • AI Agent 数据集成支持
  • 开源社区活跃

⚠️ 限制

  • 部分高级连接器需要付费版
  • 大规模数据处理性能有限
  • 运维需要一定技术门槛

🔗 相关工具

snowplow

开源7.0k

github.com/snowplow/snowplow

领先的用户行为数据基础设施平台,支持全渠道数据采集、实时处理和 AI 分析。可追踪用户与 AI 产品的交互行为,为模型优化提供数据支撑。7K+ stars。

🎯AI 产品用户行为分析、模型使用数据采集、产品优化决策

#数据分析#Data#Data-collection#数据管道
语言Scala
🍴 Forks1,172
🔄 更新2026/7/6
📥 收录2026/6/3

Data Juicer

开源6.7k-1

github.com/datajuicer/data-juicer

面向基础模型的数据处理工具包,提供数据清洗、去重、过滤、增强等全流程处理能力。支持多模态数据处理,是构建高质量 AI 训练数据集的利器。6.4K+ stars。

🎯AI 训练数据清洗与增强、多模态数据集构建、数据质量评估

#Data#数据分析#数据管道#数据处理
语言Python
🍴 Forks393
🔄 更新2026/7/18
📥 收录2026/6/3

PostHog

免费36k+119

github.com/posthog/posthog

🦔 全栈开发者平台,54K+ stars。构建成功产品的全栈开发者平台,提供产品分析、会话录制、功能标志等能力

🎯产品数据分析与 A/B 测试

#ab-testing#ai-analytics#数据分析#cdp+1
语言Python
🍴 Forks3,010
📅 上线2020/1/23
🔄 更新2026/7/18
📥 收录2026/5/11

AI-Expert-Roadmap

开源31k-1

github.com/AMAI-GmbH/AI-Expert-Roadmap

AI 工程师学习路线图,31K+ stars。从机器学习基础到深度学习、NLP、计算机视觉、大模型,以可视化路线图形式展示 AI 学习路径和技能要求

🎯AI 学习路径规划、技能体系构建、职业发展方向参考

#ai#ai-roadmap#人工智能#数据分析+1
语言JavaScript
🍴 Forks2,579
🔄 更新2026/7/18
📥 收录2026/5/22

debezium

开源13k+4

github.com/debezium/debezium

开源变更数据捕获(CDC)平台,支持多种数据库的实时数据变更流。可与 Apache Kafka 无缝集成,将数据库变更转化为事件流,适用于 AI 数据管道和实时数据同步场景。12.7K+ stars。

🎯AI 训练数据实时同步、数据库变更事件流、多数据源聚合管道

#Apache-kafka#CDC#Change-data-capture#数据管道
语言Java
🍴 Forks2,976
🔄 更新2026/7/18
📥 收录2026/6/3

Firecrawl

免费+付费152k+146

github.com/firecrawl/firecrawl

AI 友好的网页抓取 API,支持 URL → Markdown/结构化数据,110K+ stars。专为 LLM 应用设计,自动处理 JS 渲染、分页、反爬,是 RAG 系统的理想数据源

🎯网页自动化与数据采集

#爬虫#API#LLM数据源#Markdown
语言TypeScript
🍴 Forks8,704
📅 上线2024/4/16
🔄 更新2026/7/18
📥 收录2026/4/13