sim-use

微软屏幕解析工具，将屏幕元素转化为结构化数据，为纯视觉 GUI Agent 提供输入

🎯机器人控制、仿真与边缘部署

CVPR 2025 论文，开源端到端视觉-语言-行动模型，专用于 GUI Agent 场景。支持屏幕截图理解和交互操作。1.8K+ stars。

🎯GUI Agent 视觉理解、屏幕截图驱动的自动化操作

Apache 顶级项目，AI 工作流编排的事实标准，45K+ stars。以 DAG 方式定义、调度和监控复杂数据处理管道——支持 ML 训练管道编排、模型推理任务调度、数据 ETL 等，是生产级 AI 基础设施的核心组件

🎯分布式 ML 训练与推理调度、AI 数据管道编排

开源的类人计算机操作 Agent 框架，11K+ stars。结合计算机界面理解、上下文强化学习和记忆检索，让 Agent 像人类一样使用电脑，支持跨平台桌面自动化操作

🎯多模态内容理解与生成

自托管 AI 桌面 Agent，11K+ stars。通过自然语言命令自动化完成电脑操作任务，是本地化 Computer Use Agent 的新选择

🎯本地化桌面任务自动化，如文件操作、浏览器自动化、批量数据处理

Go 原生跨平台 RPA 自动化工具，支持 GUI 控制、屏幕截图、键鼠模拟和窗口操作，可与 AI Agent 结合实现 Computer Use 场景的自动化交互

🎯AI Agent 的 Computer Use 底层 GUI 操作、跨平台桌面自动化测试