微软联合北卡团队提出 WildAWM,它是一套 AI 生成的虚拟电脑(假电脑)仿真环境,内置文件系统、Shell、浏览器、邮件等常用服务,在这个模拟器里自动生成电脑操作任务,这批任务难度很高,就连擅长电脑使用的 GPT-6 Astra 也有不少题目做不出来,而且整套任务只用开源模型合成,没有直接拿闭源大模型蒸馏。训练真实电脑 Agent 成本高、有安全风险,比如 Agent 误操作、访问外网产生意外行为;WildAWM 的思路就是用合成虚拟环境替代真机,批量生成 {环境 + 任务 + 验证脚本} 成套样本,同时配套自动验证器,判断任务是否真的完成。它不是简单截图,而是结构化的操作系统状态模拟器,能够稳定复现每一步操作的结果。搭建这套数据流程的步骤是:先由开源模型生成一套完整虚拟电脑环境与文件、邮件、网页内容;再在环境里生成可执行的电脑操作任务;自动生成验证脚本 Verifier,用来校验任务是否完成;最后用这套样本训练 GUI 电脑 Agent,在多个 OOD 评测集上都能带来效果提升。实验里 341 道合成任务,不加提示时平均成功率只有 21.3%;GPT-6 Astra Pass@1 大约 60%,就算给到 8 次重试机会,仍然有 27.3% 的题目一次都无法完成,同时每一道题都保证存在可行解法,不是无解陷阱题。
WildAWM 和真实电脑环境对比
| 环境类型 | 安全风险 | 成本 | 可复现性 | 适合场景 |
|---|---|---|---|---|
| 真实电脑真机 | 高,存在误删、访问外网风险 | 高,需要大量机器 | 差,网页、文件状态容易变化 | 最终测试、少量评估 |
| WildAWM 虚拟假电脑 | 无风险,完全沙箱 | 低,可批量并行生成 | 强,状态完全可控 | 大规模训练、自动生成难题 |
WildAWM 核心组成
- 合成操作系统环境:虚拟文件系统、终端、浏览器、邮件、各类 MCP 应用服务
- 任务生成模块:在虚拟环境内部生成长步骤电脑操作任务
- Verifier 验证器:自动脚本,独立判断任务是否真正完成,避免模型 “看起来做完”
- 训练样本包:环境快照 + 任务描述 + 验证脚本,可直接喂给 GUI Agent 训练
关键实验结论
- 生成的 341 道任务,全部由开源模型产出,不依赖 GPT-6 Astra 这类闭源模型
- 测试中 GPT-6 Astra 在这套任务上依然有明显短板,很多长步骤、多文件关联任务容易规划出错
- 在 Web Agent、Claw Agent、GUI Computer-use Agent 多个跨分布评测上,用 WildAWM 数据训练后的模型都得到提升
- 任务难点大多来自长时序依赖、多文件交叉关联、隐藏状态,不是简单点击、输入类操作
优势
✅ 沙箱隔离,不用担心 Agent 搞破坏、访问外网
✅ 状态完全确定,每一个任务可以无限次复现,方便消融实验
✅ 低成本大规模生成海量训练样本,解决电脑操作 Agent 数据稀缺问题
✅ 自带验证脚本,不用人工标注结果
局限
❌ 终究是仿真环境,存在仿真和真实系统之间的 Sim-to-Real 差距
❌ 虚拟环境里的 App、网页交互逻辑是合成出来的,和真实互联网页面不完全一样
❌ 越复杂的长周期任务,模拟器本身的状态维护成本越高
适合人群
✅ 研究 GUI 电脑 Agent、Computer Use 智能体的研究者
✅ 想要低成本批量生成电脑操作评测题的团队
✅ 想做安全 RL 训练,不敢直接上真机的开发者
【相关 FAQ】
问题 1:WildAWM 这个 “假电脑” 模拟器,生成的题目为什么连 GPT-6 Astra 都做不对?
回答 1:WildAWM 在虚拟电脑里生成的是长时序、多文件状态耦合的复杂电脑操作任务,考验 Agent 长期规划和追踪隐藏状态的能力,即便 GPT-6 Astra 擅长电脑操作,依然有大量任务很难一次性完成。
问题 2:WildAWM 的假电脑是截图模拟,还是真正结构化的操作系统模拟器?
回答 2:WildAWM 不是截图,是结构化的虚拟操作系统,内置文件系统、终端、浏览器、邮件等应用,所有操作都会改变内部状态,配套独立验证脚本判断任务是否完成。
问题 3:WildAWM 生成任务的时候,是不是拿 GPT-6 Astra 来出题、蒸馏?
回答 3:不是,WildAWM 全部使用开源模型来合成环境和任务,避免直接蒸馏闭源大模型,这也是这项工作的一个重点设计。
问题 4:用 WildAWM 假电脑训练 Agent,训练出来的模型放到真实电脑上还能用吗?
回答 4:可以迁移,但存在仿真到真实的 Sim-to-Real 鸿沟,模拟器里的网页、文件逻辑是合成的,真实互联网页面交互更复杂,一般需要真机少量微调。
问题 5:WildAWM 这套假电脑模拟器,最大的价值是什么?
回答 5:WildAWM 解决真机训练 Agent 的安全、成本、不可复现问题,低成本批量生成带验证脚本的电脑操作任务,用来训练和评测 GUI 电脑使用智能体。
【参考资料】
[2026-11-07](“假电脑” 教 AI 用电脑,出的题连 GPT-6 Astra 都做不对)凤凰网科技
[2026-11-07] WildAWM: Agent-World Model in the Wild 论文介绍、HuggingFace 项目页
【免责声明】
本文内容仅为 WildAWM 论文科普解读,不代表仿真效果保证;虚拟环境和真实操作系统存在仿真偏差,迁移效果需要自行评估;项目、环境、任务集以作者开源仓库为准。
