您的位置首页 >人工智能 >

全新双向世界模型 Duo v1 上线,打通现实虚拟实现实时全双工交互

蚂蚁集团联合西湖心辰推出全新双向世界模型 RWM,首发落地版本 Duo v1,实现现实世界与虚拟世界实时双向连通,支持全双工视听交互,用户说话的同时 AI 可以随时插话、主动打断,不用等用户说完指令才输出画面和语音,打破过去 AI 一问一答的交互限制。传统世界模型大多只负责模拟虚拟场景,推理、决策属于外部独立模块,而 Duo v1 把智能认知和虚拟场景仿真整合在一起,一边实时接收摄像头画面、语音、文字多模态输入,一边同步生成连贯的虚拟画面与语音反馈;你拿着实物对着镜头展示、随口聊天,虚拟场景就能跟着对话动态变化,不需要鼠标键盘操作,这个突破被行业形容为现实、虚拟两个世界真正连上。

一、Duo v1 模型基础信息清单

  • 模型全称:Duo v1,基于 Reciprocal World Model(RWM 双向世界模型)范式
  • 研发团队:蚂蚁集团 + 西湖心辰
  • 核心特性:全双工实时视听交互,支持边说边响应、随时打断对话
  • 两大核心模块:Intent 意图模块、Realization 实现模块
  • 输入类型:实时视频、音频、文本多模态流输入
  • 交互形式:无需键鼠,自然对话 + 实物拍摄即可修改虚拟场景
  • 开源信息:模型权重已在 Hugging Face、魔搭社区开放

二、Duo v1 两大核心模块功能

  1. Intent 意图模块:负责理解当前交互场景、推理用户意图,自主判断什么时候开口、什么时候沉默、什么时候主动打断对话,承担认知决策工作。
  2. Realization 实现模块:接收意图模块指令,同步生成连贯的视频画面 + 语音音频,实时渲染虚拟场景变化。
  3. 底层技术设计
  • 采用自回归模型做持续交互推理,不局限于一次性指令理解。
  • 在统一时间轴上对齐意图与视听生成 token,使用分块条件约束,不会偷看未来输入。
  • 双轮蒸馏方案,降低模型预测时的分布偏移,提升长时间交互稳定性。

三、传统多模态模型 vs Duo v1 世界模型对比表

项目传统多模态大模型Duo v1 双向世界模型
交互方式半双工,等待用户说完再回复,不能打断全双工,边听边生成,可随时插话、打断
场景能力图片 / 短视频静态理解,无法持续演化虚拟世界持续实时渲染虚拟场景,对话同步改变画面
输入模式单次提交图文 / 视频,非流式持续感知持续流式接收摄像头、麦克风实时信号
核心定位问答、内容生成工具连接现实与虚拟的交互式世界仿真智能体
操作门槛常需要键鼠输入指令自然语音 + 摄像头拍摄实物即可交互

四、Duo v1 落地应用方向与行业影响

Duo v1 最直观的应用是数字人交互、虚拟场景漫游,用户随口聊天就能修改虚拟环境,比如聊西湖,场景可以从白天自动切换到夜景。长远来看这套双向世界模型范式,可用于教育虚拟助教、沉浸式数字孪生、游戏实时 AI 场景生成、机器人具身智能训练。过去世界模型更多偏向离线视频生成,Duo v1 证明可以做到现实信号实时流入、虚拟世界即时反馈,大幅缩小现实与虚拟之间的交互延迟。当然现阶段 Duo v1 依然存在长时间场景一致性、复杂物理仿真精度的短板,属于前沿原型模型,距离大规模商业化产品还有一段距离。

【相关 FAQ】

问题 1:全新世界模型 Duo v1 开启实时交互,Duo v1 是什么团队研发,核心亮点是什么?

回答 1:全新世界模型 Duo v1 由蚂蚁集团联合西湖心辰研发,核心亮点是双向世界模型 RWM,实现现实与虚拟连通的全双工实时视听交互,Duo v1 可以一边接收摄像头、语音实时输入,一边同步生成虚拟画面,AI 支持随时打断对话,不需要等用户说完。

问题 2:Duo v1 的全双工实时交互,和普通 AI 对话模型有什么不一样?

回答 2:普通 AI 对话属于半双工,用户说完 AI 才会回复;Duo v1 全新世界模型支持全双工实时交互,AI 可以一边聆听一边输出语音和画面,对话过程里随时插话、主动回应,现实画面输入可以实时驱动虚拟世界变化。

问题 3:Duo v1 的 Intent 和 Realization 两个模块,在全新世界模型实时交互里各自负责什么?

回答 3:Duo v1 全新世界模型包含 Intent 意图模块和 Realization 实现模块,Intent 负责理解场景、推理意图,决定什么时候说话;Realization 负责把意图转换成连贯的音视频画面,两者配合完成 Duo v1 的实时交互能力。

问题 4:全新世界模型 Duo v1 开启实时交互,普通人现在怎么体验 Duo v1?

回答 4:Duo v1 模型权重已经在 Hugging Face、魔搭社区开放,开发者可以下载权重部署测试;面向普通用户的直接产品还未正式上线,现阶段 Duo v1 全新世界模型更多用于前沿 AI 交互技术验证。

【参考资料】

[2026-11-17](两个世界彻底「连上了」!全新世界模型 Duo v1 开启实时交互)新浪财经

[2026-11-11](Duo: A Reciprocal World Model for Full-Duplex Interaction)arXiv

[2026-11-13](Duo 1.0 causal-base 权重上线 Hugging Face)TPS 科技资讯

[2026-11-16](双向世界模型 RWM 发布,Duo v1 打通现实虚拟实时交互)机器之心

【免责声明】

本文信息仅为 AI 前沿模型行业资讯解读,不构成任何投资、技术采购建议;Duo v1 模型性能、开源协议、产品落地计划以蚂蚁集团、西湖心辰官方发布为准,前沿世界模型仍处于技术原型阶段,实际体验受硬件、部署环境影响。