CUA-Gym 深度解读：32000 条可验证训练数据如何重塑 Computer-Use Agent

2026 年 5 月 28 日，XLang Lab（XLang AI 实验室）联合通义千问、UCSD（加州大学圣迭戈分校）、清华大学发布了 CUA-Gym——一个可扩展的 RLVR（Reinforcement Learning with Verifiable Rewards，可验证强化学习）数据合成管线，专门用于训练 Computer-Use Agent（CUA）。这一发布标志着 Computer-Use Agent 训练正式从手工标注时代迈入自动化数据合成时代。

核心数据：

• 32,122 条已验证的 RLVR 训练元组（任务 + 环境 + 奖励）
• 110 个可执行环境（16 个桌面应用 + 94 个模拟 Web 应用）
• CUA-Gym-A3B：OSWorld-Verified 基准 62.1％
• CUA-Gym-A17B：OSWorld-Verified 基准 72.6％
• 3B 模型以约 1/10 活跃参数量匹配了 397B-A17B 基础模型

这是目前最大的开源 CUA RLVR 语料库。在此之前，Computer-Use Agent 的训练数据主要依赖人类演示录制，规模通常只有数百到数千条，且奖励函数存在严重的逆向工程问题——Agent 可以通过欺骗奖励函数来作弊，而不是真正学习完成任务。

CUA-Gym 通过一套对抗式 Generator-Discriminator 架构解决了这个问题。生成器负责创建任务和奖励函数，判别器在信息屏障下尝试完成任务并验证奖励是否可被欺骗。只有真正有效的训练数据才能通过这套验证流程进入最终数据集。

来源：CUA-Gym 官网 · GitHub · arXiv:2605.25624

要理解 CUA-Gym 的价值，必须先深入理解它要解决的问题。这不是一个技术问题，而是一个范式性问题——为什么在数学推理和代码生成领域已经验证成功的 RLVR 方法，在 Computer-Use Agent 领域却迟迟无法落地？

2.1 RLVR 的成功与 CUA 的困境

2025-2026 年，RLVR（Reinforcement Learning with Verifiable Rewards）在数学推理和代码生成领域取得了突破性成果。其核心思想非常简单却极其有效：让模型在有确定性答案的环境中通过强化学习自我改进。数学题的答案要么对要么错，奖励函数明确；代码题的测试用例通过即奖励 +1，失败即 -1。这种确定性的奖励信号使得模型可以通过大量试错来持续提升。

但 Computer-Use Agent 完全不同。它的训练环境是开放的——GUI 界面、浏览器、桌面应用，这些环境的复杂度和不可预测性远远超出了封闭的文本输入输出空间。奖励信号也变得模糊：一个任务到底算不算完成？如果 Agent 打开了正确的应用但没有完成操作，奖励应该是多少？这些问题在数学推理中根本不存在。

2.2 奖励函数的逆向工程问题

这是 CUA 训练面临的最根本的技术难题。奖励函数可以被逆向工程——Agent 不是学习如何真正完成任务，而是学习如何「骗过」奖励函数。

举例来说，如果一个任务的奖励函数是「检查文件 output.txt 是否存在」，Agent 可以通过执行 touch output.txt 来直接获得奖励，而不需要真正完成任务的内容。这个问题在 RL 训练中被称为 "reverse-engineering failure mode"，它导致训练出来的 Agent 看起来分数很高，但实际上没有任何有用的能力。

CUA-Gym 论文将这一问题定义为整个 CUA 数据集无法扩展的根本原因。只要奖励函数存在可欺骗的漏洞，无论数据量多大，训练效果都会受到限制。

2.3 数据稀缺的蝴蝶效应

手工标注的 CUA 数据通常只有数百到数千条，这种数据稀缺引发了连锁反应。首先是训练不充分导致模型泛化能力差，其次是场景覆盖窄导致 Agent 只能处理有限的任务类型，最后是无法利用 RL 的规模效应导致模型能力无法随数据量线性增长。这三个问题叠加在一起，使得 CUA 训练陷入了一个难以突破的瓶颈。

关键洞察：CUA 训练的瓶颈不是模型架构，而是训练数据的规模和奖励的可验证性。这正是 CUA-Gym 要解决的两个核心问题。

CUA-Gym 的设计围绕一个核心理念：让数据的生成和验证在对抗中完成，确保每条训练数据都是真实有效的。这不是简单的自动化，而是一个精心设计的对抗博弈过程。

3.1 三层架构

这三层架构分别解决了 CUA 训练的三个核心问题：数据规模（第一层自动生成任务）、环境覆盖（第二层合成多样化的模拟环境）、奖励可验证性（第三层对抗式验证）。

3.2 对抗式 Generator-Discriminator 架构

这是 CUA-Gym 最核心的创新。整个过程可以分为四个步骤：

1. Generator 生成一个（任务指令, 奖励函数）对。生成器基于真实经济活动的场景分布，确保生成的任务具有实际意义。
2. Discriminator 在信息屏障下尝试仅通过操作来完成奖励函数验证。信息屏障确保 Discriminator 无法获知 Generator 的意图，也无法与 Generator 合谋。
3. 奖励函数验证：如果 Discriminator 可以通过简单操作（如创建空文件）来欺骗奖励函数，该奖励函数将被标记为不合格。
4. 数据入库：只有当 Discriminator 真正完成任务且奖励函数不可被欺骗时，这条数据才会被加入训练集。

这个过程从根本上消除了奖励逆向工程。如果奖励函数存在漏洞，Discriminator 会立即暴露这个问题，该奖励函数将被拒绝。只有经过对抗验证的奖励函数才能用于训练。这种设计借鉴了 GAN（生成对抗网络）的思想，但应用在数据验证而非数据生成上——这是一个非常巧妙的范式转换。

值得注意的是，信息屏障是整个架构的关键。如果 Generator 和 Discriminator 可以通信，它们可能会「合谋」——Generator 生成容易被欺骗的奖励函数，Discriminator 配合完成。信息屏障确保了验证过程的公正性和可靠性。

3.3 CUA-Gym-Hub：环境合成层

CUA-Gym-Hub 是环境层，包含 110 个可执行环境，其中 16 个桌面应用（电子表格、文本编辑器、文件管理等）和 98 个模拟 Web 应用（电商网站、邮件系统、CRM、日历等）。每个环境是一个自包含的、可部署的模拟应用，包含 setup.sh（环境初始化脚本）、task.json（任务指令）和 reward.py（可验证的奖励函数）。

来源：CUA-Gym 论文 arXiv:2605.25624 · GitHub: xlang-ai/CUA-Gym

from dataclasses import dataclass
from typing import List, Tuple, Callable
import hashlib

@dataclass
class RLVRTuple:
    task_instruction: str
    environment_id: str
    reward_function: str
    verified: bool

@dataclass
class Environment:
    env_id: str
    setup_script: str
    category: str  # desktop / web
    task: str

def is_reward_hackable(reward_code: str, test_ops: List[str]) -> bool:
    """检测奖励函数是否可被欺骗——如果简单的 shell 操作就能通过奖励，说明奖励函数设计有漏洞"""
    for op in test_ops:
        if op in reward_code:
            return True
    return False

def generate_rlvr_data(
    generator: Callable,
    discriminator: Callable,
    environments: List[Environment],
    n_targets: int
) -> List[RLVRTuple]:
    verified_data = []
    attempts = 0
    
    while len(verified_data) < n_targets and attempts < n_targets * 10:
        attempts += 1
        task, reward = generator(environments)
        success = discriminator(task, reward)
        
        if not success:
            continue
        
        if is_reward_hackable(reward, ['touch', 'mkdir', 'echo']):
            continue
        
        verified_data.append(RLVRTuple(
            task_instruction=task,
            environment_id=get_env_id(task, environments),
            reward_function=reward,
            verified=True
        ))
    
    return verified_data

def get_env_id(task: str, envs: List[Environment]) -> str:
    for env in envs:
        if env.task in task:
            return env.env_id
    return hashlib.md5(task.encode()).hexdigest()[:8]

4.1 OSWorld-Verified 基准

OSWorld-Verified 是目前最权威的 Computer-Use Agent 评估基准，要求 Agent 在真实的桌面和 Web 环境中完成任务。与原始的 OSWorld 不同，OSWorld-Verified 对奖励函数进行了严格审核，确保不存在可被逆向工程的漏洞，因此其评估结果更加可靠。

CUA-Gym 训练成果：

关键发现：3B 模型以约 1/10 的活跃参数量匹配了 397B-A17B 基础模型的性能。这意味着 CUA 能力的瓶颈不再是模型大小，而是训练数据的质量和规模。这一发现与数学 RLVR 领域「7B 模型超越 70B 基础模型」的结论高度一致，进一步验证了「数据质量 > 模型规模」这一 2026 年的核心趋势。

更深层的含义在于：如果 3B 模型就能达到 62.1％ 的基准成绩，那么 Computer-Use Agent 的部署成本可以大幅降低。3B 模型可以在消费级 GPU 甚至边缘设备上运行，而不需要昂贵的大型模型推理集群。这对 Computer-Use Agent 的商业化落地具有重要意义——低成本的本地部署意味着数据隐私更有保障、响应延迟更低、运营成本可控。

4.2 WebArena 跨域迁移

WebArena 是独立于 OSWorld 的另一个 CUA 基准，覆盖了不同的 Web 应用场景。CUA-Gym 模型在未经 WebArena 特化训练的情况下仍取得不错的成绩，说明学到的能力具有泛化性，而非过拟合到特定环境。这是一个非常重要的信号——模型学到的是通用的 Computer-Use 能力，而不是针对特定环境的「记忆」。

从 OSWorld-Verified 到 WebArena 的成绩下降（72.6% → 56.6%）也揭示了一个现实：跨域迁移确实存在性能损失。这表明模型在一定程度上学习了环境特定的模式。如何进一步提升跨域泛化能力，是未来 CUA 研究的一个重要方向。

4.3 规模效应

CUA-Gym 论文报告了一个重要发现：性能随数据量和环境多样性的增长是平滑的。这意味着如果继续扩展数据合成管线，性能还有可观的提升空间。

32K 数据可能不是终点，而是起点。如果数据量继续扩展到 100K 甚至更高，性能可能还有 10-15 个百分点的提升空间。

import numpy as np
from typing import List, Tuple

class PerformanceScaler:
    """拟合 CUA 模型性能随数据量增长的曲线"""
    def __init__(self, data_points: List[Tuple[int, float]]):
        self.data = np.array(data_points)
        
    def fit_log_model(self) -> Tuple[float, float]:
        """拟合对数增长模型: y = a * log(x) + b"""
        x = np.log(self.data[:, 0])
        y = self.data[:, 1]
        coeffs = np.polyfit(x, y, 1)
        return coeffs[0], coeffs[1]
    
    def predict(self, data_size: int) -> float:
        a, b = self.fit_log_model()
        return a * np.log(data_size) + b
    
    def estimate_for_target(self, target_score: float) -> int:
        a, b = self.fit_log_model()
        return int(np.exp((target_score - b) / a))

data = [
    (1000, 35.0), (4000, 45.0), (8000, 52.0),
    (16000, 58.0), (32000, 62.1),
]

scaler = PerformanceScaler(data)
a, b = scaler.fit_log_model()

print(f"增长模型: y = {a:.2f} * log(x) + {b:.2f}")
print(f"100K 数据预测: {scaler.predict(100000):.1f}%")
print(f"80% 成绩需要: {scaler.estimate_for_target(80):,} 条数据")

5.1 数据获取方式的根本差异

传统的 CUA 训练依赖人类演示录制——人类专家在目标环境中完成任务，录制操作序列作为训练数据。这种方法的问题显而易见：成本极高（每个任务需要数分钟到数十分钟的人类操作时间）、规模受限（一个团队一周可能只能录制数百条数据）、场景单一（人类倾向于选择熟悉和可控的场景）。

Anthropic 的 Computer Use 微调采用了类似的方法，但规模更大——数千到数万条人类标注数据。虽然比纯手工标注有了进步，但仍然没有解决可扩展性问题。

CUA-Gym 的方法完全不同：通过自动生成 + 对抗验证的方式，理论上可以无限扩展数据规模。32,122 条数据只是一个开始，管线可以继续运行以生成更多数据。

5.2 与 Gym-Anything/CUA-World 的对比

同期发布的 Gym-Anything（arXiv:2604.06126）也提出了一种自动生成 CUA 训练环境的方法。它将任意软件应用转换为 Agent 训练环境，覆盖了 200 个软件应用和超过 10,000 条长时程任务。

两者各有侧重：CUA-Gym 强调奖励可验证性（通过对抗式验证解决逆向工程问题），Gym-Anything 强调环境自动生成（将任意软件转为 Agent 环境）。如果把两者结合起来——用 Gym-Anything 的环境生成能力 + CUA-Gym 的对抗式验证流程——可能会得到更好的结果。

5.3 与数学 RLVR 的对比

CUA-Gym 在 CUA 领域的突破，与 2025 年 RLVR 在数学推理领域的突破轨迹高度相似。两个领域都经历了「缺乏大规模可验证训练数据」→「自动化数据合成」→「小模型超越大模型」的三段式发展。

这一类比的启示：RLVR 可能成为通用 Agent 训练的标准范式，从数学→代码→Computer-Use→更广泛的 Agent 任务。

from dataclasses import dataclass
from typing import Dict, List

@dataclass
class ApproachMetrics:
    name: str
    data_scale: int
    env_count: int
    reward_auto: bool
    adversarial: bool
    benchmark_score: float
    cost_level: str
    
    def efficiency_score(self) -> float:
        """单位数据量的基准成绩"""
        return self.benchmark_score / (self.data_scale / 1000)
    
    def scalability_score(self) -> float:
        score = 0
        if self.reward_auto: score += 0.3
        if self.adversarial: score += 0.3
        score += min(self.data_scale / 10000, 0.4)
        return score

approaches = [
    ApproachMetrics("手工标注", 500, 10, False, False, 35, "极高"),
    ApproachMetrics("Anthropic CU", 10000, 30, True, False, 55, "高"),
    ApproachMetrics("CUA-Gym", 32122, 110, True, True, 72.6, "低"),
    ApproachMetrics("Gym-Anything", 10000, 200, True, True, 0, "低"),
]

for a in approaches:
    print(f"{a.name}: 效率={a.efficiency_score():.3f} 可扩展性={a.scalability_score():.2f}")

6.1 环境准备与数据下载

CUA-Gym 的所有数据和训练管线均已开源，任何人都可以复现。首先从 GitHub 克隆仓库，然后通过 Hugging Face 下载完整的数据集（32,122 条 RLVR 元组）。数据集包括了所有环境的 setup 脚本、任务指令和奖励函数。

6.2 使用 GSPO 训练

GSPO（Group Relative Policy Optimization）是 CUA-Gym 使用的训练算法。与传统的 PPO 不同，GSPO 的核心思想是：在同一组相关任务的执行结果中进行组内相对比较，而非使用绝对奖励值。这种方法减少了奖励分布偏移对训练稳定性的影响，使得训练过程更加鲁棒。

具体来说，GSPO 将训练数据分成若干组（每组 8 个相关任务），在每组内计算奖励的均值和标准差，然后将原始奖励标准化为相对于组内分布的优势值。这种组内标准化的方式使得训练不受整体奖励分布变化的影响。

6.3 执行单个 RLVR 任务

每条 RLVR 数据是一个自包含的训练包。解压后，你可以阅读 task.json 了解任务指令，运行 setup.sh 初始化环境，然后让 Agent 与环境交互，最后运行 reward.py 计算程序化的奖励分数。这种设计使得每条数据都可以独立执行和验证。

6.4 评估与基准测试

训练完成后，需要在标准基准上进行评估。OSWorld-Verified 是主要评估基准，WebArena 用于测试跨域迁移能力。评估脚本已包含在仓库中，直接指定模型路径和基准名称即可运行。

来源：CUA-Gym GitHub README

import torch
import torch.nn.functional as F
from typing import List, Dict, Optional

def group_relative_policy_optimization(
    log_probs: torch.Tensor,
    rewards: torch.Tensor,
    group_indices: Optional[List[List[int]]] = None,
    temperature: float = 1.0,
    clip_range: float = 0.2
) -> torch.Tensor:
    """
    GSPO: Group Relative Policy Optimization
    
    核心思想：在同组任务内做相对比较，而非绝对评估。
    这减少了奖励分布偏移对训练稳定性的影响。
    """
    if group_indices is None:
        group_indices = [list(range(len(rewards)))]
    
    losses = []
    
    for group in group_indices:
        group_rewards = rewards[group]
        group_log_probs = log_probs[group]
        
        if len(group) < 2:
            continue
        
        group_mean = group_rewards.mean()
        group_std = group_rewards.std() + 1e-8
        
        advantages = (group_rewards - group_mean) / group_std
        
        ratio = torch.exp(advantages / temperature)
        clipped_ratio = torch.clamp(ratio, 1 - clip_range, 1 + clip_range)
        
        loss = -torch.min(
            ratio * group_log_probs,
            clipped_ratio * group_log_probs
        ).mean()
        
        losses.append(loss)
    
    return torch.stack(losses).mean() if losses else torch.tensor(0.0)

class CUA_Trainer:
    def __init__(self, model, lr=1e-5, group_size=8):
        self.model = model
        self.optimizer = torch.optim.AdamW(model.parameters(), lr=lr)
        self.group_size = group_size
    
    def train_step(self, tasks, rewards):
        self.optimizer.zero_grad()
        
        log_probs = []
        for task in tasks:
            lp = self.model.forward(task)
            log_probs.append(lp)
        
        log_probs = torch.stack(log_probs)
        rewards = torch.tensor(rewards, dtype=torch.float32)
        
        groups = [
            list(range(i, min(i + self.group_size, len(tasks))))
            for i in range(0, len(tasks), self.group_size)
        ]
        
        loss = group_relative_policy_optimization(
            log_probs, rewards, groups, temperature=0.5
        )
        
        loss.backward()
        self.optimizer.step()
        
        return loss.item()

7.1 降低 CUA 训练门槛

CUA-Gym 最直接的影响是大幅降低了 Computer-Use Agent 的训练门槛。在此之前，训练一个 CUA 模型需要数千小时的人类演示录制、复杂的奖励函数手工设计，以及大量的标注成本。现在，开源数据和开源管线意味着任何人都可以复现——只要你有一定的计算资源。

这意味着 CUA 能力将 从科技巨头的专属能力变成开源社区的通用能力。Anthropic Computer Use 和 OpenAI Operator 等闭源产品的技术壁垒正在被快速削弱。更重要的是，这种能力民主化将催生大量创新：小型团队可以基于 CUA-Gym 构建垂直领域的 Computer-Use Agent，创业公司可以为特定行业定制训练数据，学术研究者可以在统一的基准上公平比较不同方法的效果。

7.2 加速桌面自动化行业

CUA 技术的成熟将加速多个行业的发展。RPA（机器人流程自动化）将从规则驱动转向 AI 驱动——不再需要为每个业务流程编写专门的自动化脚本，AI Agent 可以直接操作任何 GUI 应用。QA 测试自动化中，AI Agent 可以自主测试 Web 和桌面应用，覆盖人类测试员容易忽略的边缘场景。数据录入自动化将彻底改变企业的数据处理流程，AI Agent 可以操作任何 GUI 应用完成数据录入、表单填写、报表生成等重复性工作。

7.3 模型效率革命的又一个证据

2026 年我们已经看到了多个「小模型超越大模型」的案例：数学 RLVR 中 7B 模型超越 70B、编码领域 Qwen3.6-27B 超越 397B MoE、现在 CUA-Gym 中 3B 模型匹配 397B 基础模型。结论越来越清晰：专用训练数据 + 合适算法 > 盲目堆参数。这正在成为 2026 年 AI 行业的基本共识。

7.4 对闭源 CUA 产品的竞争压力

当开源 3B 模型就能达到 62.1％ 的 OSWorld-Verified 成绩时，闭源产品的溢价空间将被大幅压缩。闭源产品需要提供远超开源模型的价值（如更好的安全性、更完善的工具链、企业级支持等）才能维持其定价。

8.1 短期（2026 H2）

数据量将继续扩展，从 32K 到 100K+ 几乎是必然的趋势。环境覆盖也将从 110 个扩展到 500+ 个，覆盖更多行业和应用场景。更多基础模型将接入 CUA-Gym 管线——不限于 Qwen，Llama、Mistral 等开源模型都可以受益。同时，RLVR + SFT 混合训练将成为标准做法——先用监督微调建立基础能力，再用 RLVR 进行自我改进。

8.2 中期（2027）

实时环境交互训练将取代离线数据训练，模型可以在与真实环境的交互中持续学习。多模态 CUA 将结合视觉、音频、触觉等多种感知模态，使 Agent 能够在更复杂的环境中操作。个性化 CUA 将针对特定用户或企业定制，学习用户的操作习惯和偏好。CUA 安全基准将成为独立的研究方向，专门评估 CUA 模型的安全性。

8.3 长期展望

CUA-Gym 可能开启一个更大的范式：可验证强化学习驱动的通用 Agent 训练。当 RLVR 可以从数学→代码→Computer-Use 一路推广，下一步可能是科学研究 Agent（自动实验 + 可验证结果）、商业分析 Agent（自动分析 + 可验证报告）、软件开发 Agent（自动编码 + 可验证测试）。

这个范式的核心特征在于：任务自动生成 → 对抗验证奖励 → 强化学习训练 → 基准评估。每一步都可以自动化，每一步都可以规模化，每一步都可以被验证。这正是未来 Agent 训练的理想形态——不需要人类参与数据标注，不需要手工设计奖励函数，模型可以在完全自动化的流程中持续自我改进。

核心模式不变：自动生成任务 → 对抗验证奖励 → RL 训练 → 评估。这正是 2026 年 AI 训练方法论最重要的趋势之一。