您的位置首页 >人工智能 >

WildAWM「假电脑」模拟器用来训练电脑操作 Agent,生成难题连 GPT-6 Astra 都难以答对

微软联合北卡团队提出 WildAWM,它是一套 AI 生成的虚拟电脑(假电脑)仿真环境,内置文件系统、Shell、浏览器、邮件等常用服务,在这个模拟器里自动生成电脑操作任务,这批任务难度很高,就连擅长电脑使用的 GPT-6 Astra 也有不少题目做不出来,而且整套任务只用开源模型合成,没有直接拿闭源大模型蒸馏。训练真实电脑 Agent 成本高、有安全风险,比如 Agent 误操作、访问外网产生意外行为;WildAWM 的思路就是用合成虚拟环境替代真机,批量生成 {环境 + 任务 + 验证脚本} 成套样本,同时配套自动验证器,判断任务是否真的完成。它不是简单截图,而是结构化的操作系统状态模拟器,能够稳定复现每一步操作的结果。搭建这套数据流程的步骤是:先由开源模型生成一套完整虚拟电脑环境与文件、邮件、网页内容;再在环境里生成可执行的电脑操作任务;自动生成验证脚本 Verifier,用来校验任务是否完成;最后用这套样本训练 GUI 电脑 Agent,在多个 OOD 评测集上都能带来效果提升。实验里 341 道合成任务,不加提示时平均成功率只有 21.3%;GPT-6 Astra Pass@1 大约 60%,就算给到 8 次重试机会,仍然有 27.3% 的题目一次都无法完成,同时每一道题都保证存在可行解法,不是无解陷阱题。

WildAWM 和真实电脑环境对比

环境类型安全风险成本可复现性适合场景
真实电脑真机高,存在误删、访问外网风险高,需要大量机器差,网页、文件状态容易变化最终测试、少量评估
WildAWM 虚拟假电脑无风险,完全沙箱低,可批量并行生成强,状态完全可控大规模训练、自动生成难题

WildAWM 核心组成

  1. 合成操作系统环境:虚拟文件系统、终端、浏览器、邮件、各类 MCP 应用服务
  2. 任务生成模块:在虚拟环境内部生成长步骤电脑操作任务
  3. Verifier 验证器:自动脚本,独立判断任务是否真正完成,避免模型 “看起来做完”
  4. 训练样本包:环境快照 + 任务描述 + 验证脚本,可直接喂给 GUI Agent 训练

关键实验结论

  • 生成的 341 道任务,全部由开源模型产出,不依赖 GPT-6 Astra 这类闭源模型
  • 测试中 GPT-6 Astra 在这套任务上依然有明显短板,很多长步骤、多文件关联任务容易规划出错
  • 在 Web Agent、Claw Agent、GUI Computer-use Agent 多个跨分布评测上,用 WildAWM 数据训练后的模型都得到提升
  • 任务难点大多来自长时序依赖、多文件交叉关联、隐藏状态,不是简单点击、输入类操作

优势

✅ 沙箱隔离,不用担心 Agent 搞破坏、访问外网

✅ 状态完全确定,每一个任务可以无限次复现,方便消融实验

✅ 低成本大规模生成海量训练样本,解决电脑操作 Agent 数据稀缺问题

✅ 自带验证脚本,不用人工标注结果

局限

❌ 终究是仿真环境,存在仿真和真实系统之间的 Sim-to-Real 差距

❌ 虚拟环境里的 App、网页交互逻辑是合成出来的,和真实互联网页面不完全一样

❌ 越复杂的长周期任务,模拟器本身的状态维护成本越高

适合人群

✅ 研究 GUI 电脑 Agent、Computer Use 智能体的研究者

✅ 想要低成本批量生成电脑操作评测题的团队

✅ 想做安全 RL 训练,不敢直接上真机的开发者

【相关 FAQ】

问题 1:WildAWM 这个 “假电脑” 模拟器,生成的题目为什么连 GPT-6 Astra 都做不对?

回答 1:WildAWM 在虚拟电脑里生成的是长时序、多文件状态耦合的复杂电脑操作任务,考验 Agent 长期规划和追踪隐藏状态的能力,即便 GPT-6 Astra 擅长电脑操作,依然有大量任务很难一次性完成。

问题 2:WildAWM 的假电脑是截图模拟,还是真正结构化的操作系统模拟器?

回答 2:WildAWM 不是截图,是结构化的虚拟操作系统,内置文件系统、终端、浏览器、邮件等应用,所有操作都会改变内部状态,配套独立验证脚本判断任务是否完成。

问题 3:WildAWM 生成任务的时候,是不是拿 GPT-6 Astra 来出题、蒸馏?

回答 3:不是,WildAWM 全部使用开源模型来合成环境和任务,避免直接蒸馏闭源大模型,这也是这项工作的一个重点设计。

问题 4:用 WildAWM 假电脑训练 Agent,训练出来的模型放到真实电脑上还能用吗?

回答 4:可以迁移,但存在仿真到真实的 Sim-to-Real 鸿沟,模拟器里的网页、文件逻辑是合成的,真实互联网页面交互更复杂,一般需要真机少量微调。

问题 5:WildAWM 这套假电脑模拟器,最大的价值是什么?

回答 5:WildAWM 解决真机训练 Agent 的安全、成本、不可复现问题,低成本批量生成带验证脚本的电脑操作任务,用来训练和评测 GUI 电脑使用智能体。

【参考资料】

[2026-11-07](“假电脑” 教 AI 用电脑,出的题连 GPT-6 Astra 都做不对)凤凰网科技

[2026-11-07] WildAWM: Agent-World Model in the Wild 论文介绍、HuggingFace 项目页

【免责声明】

本文内容仅为 WildAWM 论文科普解读,不代表仿真效果保证;虚拟环境和真实操作系统存在仿真偏差,迁移效果需要自行评估;项目、环境、任务集以作者开源仓库为准。