OpenBB Platform

基于 AI 的 Python 智能爬虫——利用大语言模型自动从网页、文档等来源提取结构化数据，无需手动编写解析规则。

🎯智能数据采集——自动从网页和文档中提取结构化数据，适合需要灵活抓取非结构化信息的场景

开源数据工程框架，提供标准化的数据管道开发流程，支持数据验证、版本控制和可重复实验，是构建生产级 ML 管道的最佳实践工具。

🎯标准化数据管道开发和 ML 项目工程管理

AI 友好的网页抓取 API，支持 URL → Markdown/结构化数据，110K+ stars。专为 LLM 应用设计，自动处理 JS 渲染、分页、反爬，是 RAG 系统的理想数据源

🎯网页自动化与数据采集

自适应 Web 爬取框架，52K+ stars。从单请求到全规模爬取全覆盖，智能处理反爬、动态渲染和复杂页面结构，是 AI Agent 数据采集的瑞士军刀

🎯AI Agent 数据采集、舆情分析数据源爬取、竞品监控自动化

让你的 AI Agent 拥有浏览全网的能力——一个 CLI 即可读取和搜索 Twitter、Reddit、YouTube、GitHub、B站、小红书等平台内容，无需 API 费用。

🎯AI Agent 的互联网浏览器——让大模型直接读取社交媒体和公开网页内容，适合需要实时数据采集的智能体

中文社交媒体爬虫工具，50K+ stars。支持小红书、抖音、快手、B 站、微博、贴吧、知乎等平台的笔记/视频/评论爬取，是中文互联网数据采集的标杆项目

🎯数据爬取与 ETL 处理