Computer Use（计算机使用）

Computer Use 的发展可分为三个阶段。

• 先驱期（2024 年 10 月前）：传统 GUI 自动化依赖 Selenium（Web）、Appium（移动端）等工具，需要预定义 DOM 选择器和操作脚本，无法处理未知界面。
• 突破期（2024 年 10 月）：Anthropic 在 Claude 3.5 Sonnet 上推出 Computer Use API，首次实现 LLM 通过截屏理解 + 坐标输出的方式操控 GUI。Simon Willison 等开发者迅速进行实验验证。
• 主流化（2025-2026 年）：2026 年 3 月 Anthropic 推出 Claude 桌面端 Computer Use Agent；Google Gemini 3.5 Flash 内置 Computer Use，OSWorld 得分 78.4；OpenAI Operator 等产品跟进。Computer Use 从实验性功能成为主流模型标配。

Computer Use 的工作流程是一个感知-推理-行动循环：(1) 感知——模型接收当前屏幕截屏，通过视觉理解识别界面元素（按钮、输入框、菜单等）；(2) 推理——模型根据任务目标和当前界面状态，推理下一步操作；(3) 行动——模型输出具体操作指令，包括目标坐标（x, y）、动作类型（点击/双击/输入/滚动/拖拽）；(4) 反馈——执行操作后获取新的截屏，循环继续。

与传统 RPA 的核心区别：传统 RPA 依赖预定义工作流和 DOM 选择器，只能在已知界面结构上运行；Computer Use 是零样本泛化的——模型可以处理从未见过的 GUI 界面，因为它通过视觉理解而非硬编码规则来识别界面元素。代价是每步需要截屏 + 推理，速度远慢于 API 调用；且存在不确定性——模型可能点错位置或误解界面。

2026 年的 Computer Use 产品生态包括：

• Anthropic Claude Computer Use：2024 年 10 月首发 API，2026 年 3 月推出桌面端 Agent。用户从手机发送任务，Claude 在电脑端自主完成。支持虚拟桌面和物理桌面。
• Google Gemini 3.5 Flash Computer Use：内置于 Gemini 3.5 Flash，OSWorld 得分 78.4，成本约为 GPT-5.5 的 1/3。是目前性价比最高的 Computer Use 方案。
• OpenAI Operator：OpenAI 的 Computer Use 产品，基于 GPT-5.5 系列。

安全考量：Computer Use 的安全风险显著——模型可以执行任意 GUI 操作，包括访问敏感数据、发送邮件、删除文件等。Anthropic 在文档中用红色警告框提示 prompt injection 风险。生产部署通常需要在沙箱环境中运行，限制可访问的应用和文件系统路径。