核心要点
能给定义：Computer Use 是 Anthropic 于 2024 年率先推出的能力，让模型像人一样直接操作电脑的图形界面（GUI），而不依赖软件提供的 API
能讲清原理闭环：截屏拿到屏幕画面，模型用多模态能力理解屏幕，输出鼠标移动/点击和键盘输入的具体坐标与指令，环境执行后再次截屏，如此循环直到完成任务
能说出价值：可自动化那些没有开放 API、只有人机界面的任务，例如填表单、跨软件搬运数据、操作旧系统
能点破局限：速度慢、容易出错、对屏幕分辨率敏感、存在误操作的安全风险，需要人工确认与沙箱隔离；它是 GUI Agent 方向的代表
标准回答
先给定义
Computer Use 是 Anthropic 在 2024 年率先推出的一种 Agent 能力，核心是让大模型像人一样去操作电脑的图形界面。以往 Agent 调用工具靠的是程序接口（API），而 Computer Use 不需要目标软件提供 API，它直接看屏幕、动鼠标、敲键盘，把模型变成一个能用电脑的「数字员工」。
原理是一个感知-行动闭环
它本质上是「观察-思考-行动」循环在 GUI 上的具体落地，每一轮包含四步：第一，截屏，把当前屏幕画面作为图像传给模型；第二，多模态理解，模型识别画面里的窗口、按钮、输入框、文字，判断当前状态和下一步该做什么；第三，输出动作指令，模型给出结构化的操作，比如把鼠标移动到某个坐标、点击、双击、拖拽，或在某处输入一段文字；第四，环境执行并再次截屏，操作系统执行这些动作后，新的屏幕被截下来回传，进入下一轮。这样不断循环，直到任务完成或触发终止条件。
它能做什么
最大的价值在于覆盖「没有 API、只有界面」的长尾场景：操作老旧的企业内部系统、跨多个软件复制粘贴搬运数据、按流程填写网页或桌面表单、做重复性的点击操作。对这些任务，传统自动化要么没接口可用，要么写死的脚本一改界面就失效，而 Computer Use 靠视觉理解有更强的泛化与适应能力。
它的局限也很明显
一是慢，每一步都要截屏、推理、执行，回合多了延迟和成本都高；二是易错，模型可能点错位置、误判控件状态，错误还会在多步中累积放大；三是对分辨率和界面布局敏感，坐标定位在不同屏幕尺寸下容易偏移；四是安全风险高，自主操作鼠标键盘意味着可能误删文件、误发信息、被恶意页面诱导执行危险操作。因此实践中必须配合沙箱/虚拟机隔离、操作权限限制、关键步骤人工确认（human-in-the-loop）和完整的操作日志。
一句话总结
Computer Use 让模型从「会说话」走向「会用电脑」，是 GUI Agent 这一方向的代表性能力——潜力很大，但现阶段更适合在受控环境下做有人监督的自动化。
常见误区
⚠️ 常见踩坑
别把 Computer Use 等同于传统 RPA（机器人流程自动化）。RPA 靠预先录制的固定坐标或控件路径，界面一变就失效；Computer Use 靠模型实时看屏幕做视觉理解，泛化更强但每步都要推理，因此更慢、更贵也更不确定。也别忽视安全：它能真实操作你的电脑，绝不能在没有沙箱和权限边界的情况下放手让它自由运行。
追问
追问 1：Computer Use 和直接调用 API 的工具调用相比，各自适合什么场景？
有 API 就优先用 API：更快、更稳、更可控，结果是结构化的，几乎不会点错。Computer Use 适合那些根本没有 API、只暴露图形界面的场景，比如老旧内部系统、第三方桌面软件、需要跨多个互不打通的应用搬运数据。一般策略是「能用 API 就用 API，没有 API 才退而用 Computer Use 看屏幕操作」。
追问 2：为什么 Computer Use 容易出错，工程上怎么缓解？
出错主要来自坐标定位不准、控件状态误判、以及多步误差累积。缓解手段包括：每步执行后用截屏做结果校验，发现异常就回退或重试；缩小操作空间，先用无障碍树（accessibility tree）或 DOM 信息辅助定位再点击；限制单任务最大步数防止无效循环；关键且不可逆的动作（删除、提交、付款）强制人工确认。
追问 3：让模型自主操作电脑有哪些安全风险？怎么兜底？
风险包括误操作造成数据损坏、被网页中的提示注入（prompt injection）诱导执行危险指令、越权访问敏感信息或外发数据。兜底要做纵深防御：在沙箱或一次性虚拟机里运行、按最小权限授予文件与网络访问、对高危操作设白名单和人工审批、记录完整操作日志便于审计，并对模型读到的页面内容保持不信任、做输入隔离。
🔗 相似问题
同一考点的不同问法，面试官可能换着问，一起刷更稳
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习