Polars

极速 DataFrame 库,38K+ stars。Rust 编写的高性能数据处理引擎,支持懒执行、流式处理和多线程并行,比 pandas 快数倍,是 AI 数据预处理和 ETL 的理想工具。

🎯适用场景:大规模数据集的预处理和特征工程

#DataFrame#Rust#高性能#数据处理

📥 收录于 2026/5/29

📊 仓库数据

Stars38,984
Forks2,948
语言Rust
更新2026/7/12

📈 Stars 变化 23 小时 +5· 统计区间 7/11 18:09 → 7/12 17:23(23 小时)

优点

  • Rust 内核性能远超 pandas
  • 支持懒执行和流式处理
  • Python/Rust/Node.js 多语言绑定

⚠️ 限制

  • API 与 pandas 不同需要学习成本
  • 部分生态工具链不如 pandas 成熟

🔗 相关工具

MLflow

开源27k+13

github.com/mlflow/mlflow

开源 AI 工程平台,26K+ stars。面向 Agent、LLM 和 ML 模型的端到端生命周期管理平台,支持实验追踪、模型注册、部署和监控

🎯ML/LLM 实验追踪、模型版本注册与部署、Agent 生命周期管理

#agentops#智能体#ai#ai-governance+1
语言Python
🍴 Forks5,984
🔄 更新2026/7/12
📥 收录2026/5/7

RustFS

开源30k+20

github.com/rustfs/rustfs

高性能对象存储系统,27K+ stars。基于 Rust 的开源 S3 兼容对象存储,4KB 小对象性能比 MinIO 快 2.3 倍。支持多云迁移和共存,是 AI 数据存储基础设施的高性能选择

🎯AI 训练数据和模型文件的高性能 S3 兼容对象存储

#object-storage#s3#Rust#云原生+1
语言Rust
🍴 Forks1,302
📅 上线2024/6/1
🔄 更新2026/7/12
📥 收录2026/5/26

Rig

开源7.9k+12

github.com/0xPlaygrounds/rig

基于 Rust 构建的模块化 LLM 应用开发框架,兼顾高性能和类型安全,适合对性能和稳定性有极致要求的场景

🎯需要极致性能和编译期安全保证的 LLM 应用与 Agent 开发

#Rust#LLM 框架#高性能#类型安全+1
语言Rust
🍴 Forks877
🔄 更新2026/7/12
📥 收录2026/6/6

Data Juicer

开源6.7k+2

github.com/datajuicer/data-juicer

面向基础模型的数据处理工具包,提供数据清洗、去重、过滤、增强等全流程处理能力。支持多模态数据处理,是构建高质量 AI 训练数据集的利器。6.4K+ stars。

🎯AI 训练数据清洗与增强、多模态数据集构建、数据质量评估

#Data#数据分析#数据管道#数据处理
语言Python
🍴 Forks391
🔄 更新2026/7/12
📥 收录2026/6/3

Firecrawl

免费+付费150k+479

github.com/firecrawl/firecrawl

AI 友好的网页抓取 API,支持 URL → Markdown/结构化数据,110K+ stars。专为 LLM 应用设计,自动处理 JS 渲染、分页、反爬,是 RAG 系统的理想数据源

🎯网页自动化与数据采集

#爬虫#API#LLM数据源#Markdown
语言TypeScript
🍴 Forks8,555
📅 上线2024/4/16
🔄 更新2026/7/12
📥 收录2026/4/13

OpenAI Codex

免费+付费91k

github.com/openai/codex

OpenAI 官方终端编码智能体,用 Rust 构建的轻量级 coding agent,直接在终端中运行。76,900+ stars,支持 GPT-4o/o3/o4mini 等多种模型。与 Claude Code 直接竞争,提供终端会话式编码体验——可以读取项目上下文、编写代码、运行测试、修复 Bug、提交 PR。支持沙箱模式安全执行代码,是 2026 年「Agentic Coding」领域的核心选手之一

🎯AI 安全与合规防护、AI 辅助编程与代码生成

#编码智能体#终端#OpenAI#Rust+1
语言Rust
🍴 Forks13,409
📅 上线2025/4/13
🔄 更新2026/6/14
📥 收录2026/4/22