蚂蚁集团联合西湖心辰推出全新双向世界模型 RWM(Reciprocal World Model)的首个落地版本 Duo v1,主打全双工实时交互能力,实现现实世界和虚拟世界双向联动,打破传统 AI 一问一答、等用户说完才回复的交互模式。过往绝大多数世界模型只专注模拟物理画面,思考决策模块是外挂组件,Duo v1 把智能推理和物理仿真放在同一套框架里,分为 Intent 意图模块和 Realization 视听生成模块同步运行;上手使用的逻辑和普通多模态模型差别很大,用户可以一边说话一边展示实物,AI 可以中途插话、主动回应,也可以安静倾听,虚拟场景画面还会跟着对话、现实画面实时变化,不需要鼠标键盘输入指令。整套方案落地路径是先开放论文与 Demo 验证这套双向世界模型范式,后续迭代新版本,目标打造可以和人自然共处、同步互动的 AI 智能体,而不是单纯的画面生成工具。
一、Duo v1 基础信息表
| 项目 | 详情 |
|---|---|
| 模型名称 | Duo v1 |
| 底层范式 | Reciprocal World Model(RWM,双向世界模型) |
| 研发团队 | 蚂蚁、西湖心辰 |
| 核心交互能力 | 全双工实时交互,支持中途打断、双向同步感知 |
| 两大核心模块 | Intent 意图模块、Realization 视听生成模块 |
| 感知输入 | 实时视频、音频、文本 |
| 典型效果 | 虚拟场景随对话动态变化、虚实联动 |
| 交互特点 | 不需要等待用户说完,AI 可主动插话或者保持沉默 |
| 发布形式 | 技术论文 + 公开演示 Demo |
二、两大核心模块分工清单
Intent(意图模块)
负责看懂当前交互场景、持续推理,决定 AI 要不要开口、什么时候回应、怎么参与对话,是整套模型的决策大脑,持续跟着实时音视频流更新判断。
Realization(实现模块)
接收 Intent 输出的决策信号,生成连贯同步的音频、虚拟画面,让虚拟场景、虚拟人物的动作、语音和当下对话匹配。
三、三项关键技术设计
- 自回归建模持续做交互判断,区别于扩散模型只做指令生成,支持连续互动决策
- 分块条件机制,统一时间轴对齐意图 token 和视听 token,加因果掩码,看不到未来信息
- 双轨迹蒸馏,缓解意图分支和画面生成分支之间的分布偏移,减少画面和对话脱节
四、Duo v1 可以实现的交互场景
- 对着镜头展示现实物品,AI 识别并且同步修改虚拟场景
- 和虚拟角色自然聊天,双方可以互相打断,类似真人对话
- 边交流边变换虚拟环境,比如聊西湖,白天场景平滑切到夜景
- 音视频类互动小游戏、陪伴式虚拟助手
- 引导 AI 完成一系列连续任务,全程无键鼠操作
五、优势和局限梳理
✅ 亮点
- 全双工交互,告别轮询式一问一答,交互更贴近真人
- 推理决策和世界仿真原生融合,不是大模型外挂视频生成器
- 虚实打通,现实画面可以直接驱动虚拟世界变化
⚠️ 现存短板
- 当前只放出 Demo 和论文,还没有大规模商用产品
- 复杂长时序场景下,虚拟画面一致性容易跑偏
- 算力开销高,本地设备很难流畅跑起来
- 安全对齐、内容管控方案还在持续打磨
【相关 FAQ】
问题 1:全新世界模型 Duo v1 开启实时交互,Duo v1 是什么模型,由哪家团队研发?
回答 1:全新世界模型 Duo v1 开启实时交互,Duo v1 是基于 RWM 双向世界模型范式开发的模型,由蚂蚁联合西湖心辰研发,主打现实和虚拟打通的全双工实时交互。
问题 2:全新世界模型 Duo v1 开启实时交互,全双工交互是什么意思?
回答 2:全新世界模型 Duo v1 开启实时交互,全双工交互代表用户和 AI 可以同时说话,AI 不用等用户说完再回复,可以主动插话,也可以选择安静倾听,支持实时互相打断。
问题 3:全新世界模型 Duo v1 开启实时交互,Intent 和 Realization 两个模块分别负责什么?
回答 3:全新世界模型 Duo v1 开启实时交互,Intent 意图模块负责理解场景、做交互决策;Realization 模块负责把决策转化成同步的音频、虚拟画面输出。
问题 4:全新世界模型 Duo v1 开启实时交互,是不是已经可以直接下载部署商用?
回答 4:全新世界模型 Duo v1 开启实时交互,目前只对外发布技术论文和演示 Demo,暂时没有开放商用版本,后续还会迭代新版本。
【参考资料】
[2026-11-17](两个世界彻底「连上了」!全新世界模型 Duo v1 开启实时交互)新浪财经
[2026-11-17](蚂蚁 × 西湖心辰推出 Duo v1 双向世界模型,支持全双工虚实实时交互)机器之心
[2026-11-17](Duo v1:双向世界模型实现现实虚拟实时联动)36 氪
[2026-11-11](Duo: A Reciprocal World Model for Full-Duplex Interaction)arXiv
[2026-11-11](Duo v1 项目主页上线,展示全双工交互样例)duo-v1.github.io
【免责声明】
本文基于公开技术论文、媒体 Demo 报道整理,Duo v1 的开放计划、模型权重、商用时间、性能上限以蚂蚁、西湖心辰官方后续公告为准;实时全双工世界模型算力门槛高,演示效果不等于所有场景稳定效果,本文不构成产品采购、项目落地参考。
