AI 多模态数据引擎,5.5K+ stars。高性能分布式数据框架,专为 AI 工作负载设计——处理图像、音频、视频和结构化数据。支持 Arrow 生态、Iceberg 数据湖,是 AI 数据管道的高效选择

🎯适用场景:企业知识库问答与 RAG 检索、网页自动化与数据采集

#数据引擎#多模态#分布式#ETL

📥 收录于 2026/5/24

📊 仓库数据

Stars5,618
Forks516
语言Rust
上线2022/7/14
更新2026/7/10

📈 Stars 变化 12 小时 +4· 统计区间 7/10 12:08 → 7/11 00:11(12 小时)

优点

  • AI 多模态数据原生支持
  • Arrow 生态兼容
  • 分布式高性能
  • Iceberg 数据湖集成

⚠️ 限制

  • 社区规模较小
  • 文档不如 Spark 完善
  • 部分高级功能待开发

🔗 相关工具

LobeHub

开源80k+26

github.com/lobehub/lobe-chat

AI Agent 协作平台,75,393+ stars。提供现代化的聊天界面,支持多模型切换、插件系统、Agent 团队协作、知识库管理,是个人 AI 工作台的优秀选择

🎯企业知识库问答与 RAG 检索

#AI 聊天#多模型#Agent 协作#开源
语言TypeScript
🍴 Forks15,583
🔄 更新2026/7/10
📥 收录2026/4/20

Crawl4AI

开源72k+252

github.com/unclecode/crawl4ai

面向 AI Agent 的开源 Web 爬取框架,支持网页爬虫、Markdown 生成、JavaScript 执行和 LLM 结构化提取。为 Agent 提供可靠的 Web 数据获取能力,支持异步爬取、智能去重和内容清洗,是构建 RAG 系统和 Agent 知识库的关键基础设施

🎯企业知识库问答与 RAG 检索、网页自动化与数据采集

#开源#Web 爬取#Agent 基础设施#Markdown
语言Python
🍴 Forks7,398
📅 上线2024/5/9
🔄 更新2026/7/10
📥 收录2026/4/15

Docling

开源63k+25

github.com/docling-project/docling

文档 AI 预处理工具,58,284+ stars。将 PDF、Word、PPT 等文档转换为 AI 友好的格式,保留表格、公式、图片结构。是 RAG 系统和知识库构建的前置数据准备利器。

🎯企业知识库问答与 RAG 检索、非结构化文档解析与提取

#文档处理#RAG 数据准备#PDF 解析#AI 预处理
语言Python
🍴 Forks4,436
📅 上线2024/6/1
🔄 更新2026/7/10
📥 收录2026/4/21

LLM App

开源59k-1

github.com/pathwaycom/llm-app

RAG 和 AI 管道模板,59,967+ stars。Pathway 提供的实时 RAG(检索增强生成)解决方案,支持流式数据处理、实时更新知识库,适合构建生产级 AI 应用

🎯企业知识库问答与 RAG 检索、数据采集与 ETL 处理

#RAG#实时数据#AI管道#知识检索
语言Jupyter Notebook
🍴 Forks1,432
📅 上线2023/7/19
🔄 更新2026/7/10
📥 收录2026/4/20

LlamaIndex

开源51k+15

github.com/run-llama/llama_index

文档 Agent 和 OCR 平台,48,716+ stars。领先的 RAG 框架,提供文档索引、数据检索、Agent 编排等完整能力,支持多模态文档理解和智能问答

🎯企业知识库问答与 RAG 检索、多模态内容理解与生成

#RAG#文档检索#智能体#知识库
语言Python
🍴 Forks7,722
📅 上线2022/11/2
🔄 更新2026/7/10
📥 收录2026/4/20

Cherry Studio

开源48k+30

github.com/CherryHQ/cherry-studio

AI 生产力工作室,43,887+ stars。集智能聊天、自动 Agent、知识库管理于一体的 AI 效率工具,支持多模型切换和插件扩展,打造个人专属 AI 工作台

🎯企业知识库问答与 RAG 检索

#AI 助手#多模型#智能体#知识库
语言TypeScript
🍴 Forks4,598
📅 上线2024/5/24
🔄 更新2026/7/10
📥 收录2026/4/20