MindsDB
AI 分析查询引擎,39,018+ stars。将 AI/ML 能力直接嵌入数据库,通过 SQL 即可进行预测分析和智能查询,支持多种数据源和 AI 模型集成
🎯适用场景:SQL 智能查询与预测分析、数据库 AI 能力集成
📊 仓库数据
✅ 优点
- •SQL 即可调用 AI 模型
- •多数据源统一接口
- •降低 AI 应用开发门槛
- •活跃社区和文档
⚠️ 限制
- •性能不如原生查询
- •复杂模型训练能力有限
- •生产环境部署需优化
🔗 相关工具
Firecrawl
github.com/firecrawl/firecrawl
AI 友好的网页抓取 API,支持 URL → Markdown/结构化数据,110K+ stars。专为 LLM 应用设计,自动处理 JS 渲染、分页、反爬,是 RAG 系统的理想数据源
🎯网页自动化与数据采集
OpenBB Platform
github.com/openbb-finance/openbb
金融数据分析平台,66,139+ stars。开源金融数据基础设施,提供股票、加密货币、宏观经济等全方位数据查询和分析能力,支持 Python SDK 和终端使用
🎯金融数据采集与分析、股票与宏观数据查询
Scrapling
github.com/D4Vinci/Scrapling
自适应 Web 爬取框架,52K+ stars。从单请求到全规模爬取全覆盖,智能处理反爬、动态渲染和复杂页面结构,是 AI Agent 数据采集的瑞士军刀
🎯AI Agent 数据采集、舆情分析数据源爬取、竞品监控自动化
TrendRadar
github.com/sansan0/TrendRadar
AI 驱动的舆情监控与趋势分析助手,58K+ stars。支持多平台信息聚合、RSS 订阅、智能预警,帮助打破信息茧房,还原舆情全貌并预测未来走向,辅助决策
🎯AI 舆情监控、行业趋势分析与情报收集系统
MediaCrawler
github.com/NanmiCoder/MediaCrawler
中文社交媒体爬虫工具,50K+ stars。支持小红书、抖音、快手、B 站、微博、贴吧、知乎等平台的笔记/视频/评论爬取,是中文互联网数据采集的标杆项目
🎯数据爬取与 ETL 处理
Made With ML
github.com/GokuMohandas/Made-With-ML
生产级 ML 开发教程,47,348+ stars。从数据处理到模型部署的完整 ML 开发课程,涵盖 MLOps、模型监控、CI/CD 等生产环境最佳实践
🎯AI 技术学习与实践教程、数据采集与 ETL 处理