ScrapeGraph AI
基于 AI 的 Python 智能爬虫——利用大语言模型自动从网页、文档等来源提取结构化数据，无需手动编写解析规则。
🎯适用场景：智能数据采集——自动从网页和文档中提取结构化数据，适合需要灵活抓取非结构化信息的场景
📥 收录于 2026/5/28
📊 仓库数据
📈 Stars 变化 ↑23 小时 +26· 统计区间 7/11 18:09 → 7/12 17:23（23 小时）
✅ 优点
- •26K+ stars 头部爬虫项目
- •LLM 驱动自适应解析
- •无需手动写 XPath/CSS 选择器
- •开源免费
⚠️ 限制
- •依赖 LLM API 调用有费用
- •复杂页面提取准确率有波动
- •Python 环境配置
🔗 相关工具
OpenBB Platform
github.com/openbb-finance/openbb
金融数据分析平台，66,139+ stars。开源金融数据基础设施，提供股票、加密货币、宏观经济等全方位数据查询和分析能力，支持 Python SDK 和终端使用
🎯金融数据采集与分析、股票与宏观数据查询
FinGPT
github.com/AI4Finance-Foundation/FinGPT
金融大语言模型，4.4K+ stars。开源金融大语言模型，金融领域 LLM 微调、训练和应用开发的完整方案
🎯大模型微调与训练、金融 AI 应用与量化分析
Kedro
github.com/kedro-org/kedro
开源数据工程框架，提供标准化的数据管道开发流程，支持数据验证、版本控制和可重复实验，是构建生产级 ML 管道的最佳实践工具。
🎯标准化数据管道开发和 ML 项目工程管理
Firecrawl
github.com/firecrawl/firecrawl
AI 友好的网页抓取 API，支持 URL → Markdown/结构化数据，110K+ stars。专为 LLM 应用设计，自动处理 JS 渲染、分页、反爬，是 RAG 系统的理想数据源
🎯网页自动化与数据采集
Scrapling
github.com/D4Vinci/Scrapling
自适应 Web 爬取框架，52K+ stars。从单请求到全规模爬取全覆盖，智能处理反爬、动态渲染和复杂页面结构，是 AI Agent 数据采集的瑞士军刀
🎯AI Agent 数据采集、舆情分析数据源爬取、竞品监控自动化
TrendRadar
github.com/sansan0/TrendRadar
AI 驱动的舆情监控与趋势分析助手，58K+ stars。支持多平台信息聚合、RSS 订阅、智能预警，帮助打破信息茧房，还原舆情全貌并预测未来走向，辅助决策
🎯AI 舆情监控、行业趋势分析与情报收集系统
