西湖大学于开丞在专访里提出一个很核心的观点,就算通用语言模型能力持续变强,在和真实物理世界交互这件事上依然有明显短板,物理世界的变化是实时、不可逆的,没办法等语言模型慢慢做符号推理、检索推演,所以语言模型不能直接顶替世界模型。这个讨论的背景来自一份评测,GPT-6 Astra 没有专门针对机器人任务训练,却在 RoboDojo-Sim 机器人榜单拿到不错成绩,不少人开始质疑世界模型是不是不再需要了,而于开丞认为榜单成绩只是模拟环境下的纸面效果,放到真实机器人、自动驾驶场景,一旦时序、物体物理属性发生变化,纯语言模型很容易推理出错,它本质是学习文本符号的概率分布,没有内化重力、摩擦、碰撞这些底层物理因果。他的团队走的是概念世界模型路线,不去优先生成高清像素画面,而是在隐空间拆解空间关系、物体接触、材质特性这类基础物理概念,靠概念组合预判新场景下的变化,适配机器人、自动驾驶这类对实时预测要求很高的场景;西湖大学也已经成立世界模型研究中心,把这个方向作为校级交叉平台推进。当然他也认可语言模型的价值,语言模型擅长高层规划、指令理解,适合给智能体下达任务,和世界模型属于互补关系,不是互相替代。
受访人与项目基础信息清单
| 项目 | 详情 |
|---|---|
| 受访人 | 于开丞,西湖大学工学院助理教授、西湖世界模型研究中心主任、AutoLab 自主智能实验室负责人 |
| 核心观点 | 通用语言模型擅长符号推理,但无法应对物理世界实时交互需求,不能替代世界模型 |
| 主推技术路线 | 概念世界模型(隐空间抽象物理概念推演,不优先生成像素) |
| 对标测试事件 | GPT-6 Astra 在 RoboDojo-Sim 机器人模拟榜单取得靠前成绩,引发路线争论 |
| 研究中心定位 | 校级交叉科研平台,主攻物理智能、世界模型 |
| 典型落地方向 | 人形机器人、自动驾驶、具身智能操作 |
语言模型和世界模型核心差异对比
- 底层逻辑不一样
- 时序响应要求不一样
- 泛化方式不一样
- 分工定位
通用语言模型:学习海量文本,做符号序列概率预测,靠上下文和检索完成推理,不天然理解物理因果。
概念世界模型:学习物理交互数据,内化空间、碰撞、重力等规则,输入当前状态 + 动作,直接预测物理世界下一时刻状态。
物理世界状态转瞬变化,机器人抓取、车辆避障都要毫秒级预判;语言模型推理链路长,容错空间很小,一旦预判错误就会直接引发实体事故,也就是 “物理世界等不起”。
语言模型靠见过的文本案例类比,遇到全新物理组合容易脑补错误常识;概念世界模型把场景拆成独立物理概念,用已有概念组合推演陌生场景。
语言模型:接收人类自然语言指令、做高层任务规划。
世界模型:承接规划指令,在物理层面做预判、仿真试错、实时决策。
概念世界模型设计思路
- 避开生成高清视频像素的路线,降低算力开销
- 把环境拆解成:物体位置、接触关系、材质、运动趋势等可复用物理概念
- 在隐空间完成虚拟推演,相当于让 AI 在脑子里先模拟一遍动作后果
- 从仿真环境逐步迁移到真实物理机器人,持续收集真实反馈修正模型
观点总结
✅ 语言模型可以在模拟评测里拿到不错的机器人分数,但不代表能胜任真实物理场景。
✅ 概念世界模型主打物理因果预测,是具身智能、自动驾驶必不可少的模块。
✅ 两者是互补组合,最优方案是语言模型负责理解指令,世界模型负责物理预判和交互。
❌ 当前世界模型整体还处于早期阶段,距离稳定大规模商用还有很长研发周期。
❌ 概念世界模型同样需要大量高质量物理交互数据集,数据采集成本不低。
【相关 FAQ】
问题 1:西湖大学于开丞说通用语言模型再强物理世界也等不起,这句话是什么意思?
回答 1:西湖大学于开丞所说通用语言模型再强物理世界也等不起,是指语言模型是符号概率推理,推理延迟高、缺少原生物理因果,而真实物理场景变化实时不可逆,机器人、自动驾驶等任务没法等待它慢慢推理,很容易出现失误。
问题 2:西湖大学于开丞提出的概念世界模型,和普通生成式世界模型有什么区别?
回答 2:西湖大学于开丞提出的概念世界模型不走生成高清像素视频的路线,优先在隐空间拆解物理概念、推演因果变化,算力消耗更低,目标是提升物理场景泛化能力,和主打画面生成的世界模型路线不同。
问题 3:通用语言模型能不能替代西湖大学于开丞研究的世界模型?
回答 3:按照西湖大学于开丞的观点,通用语言模型不能替代世界模型,二者定位互补,语言模型适合理解指令、顶层规划,世界模型专门负责预判物理世界变化。
问题 4:RoboDojo-Sim 榜单里语言模型成绩很好,为什么于开丞依旧看好世界模型?
回答 4:于开丞认为 RoboDojo-Sim 只是模拟环境测试,环境约束固定,放到真实物理世界,物体材质、摩擦、扰动等变量复杂,纯语言模型缺少物理因果能力,稳定性不足,所以依旧需要世界模型。
【参考资料】
[2026-11-19](对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」)新浪科技
[2026-11-18](前沿周刊|你好,现实世界 —— 世界模型为 AI 补上物理课)潮新闻
[2026-11-02](三年前布局,今年爆火!西湖大学成立新中心)中国教育和科研计算机网
[2026-10-31](当 AI 开始拥有 “世界观”:西湖大学成立世界模型研究中心)人民网浙江频道
【免责声明】
本文内容整理自西湖大学于开丞专访报道及西湖世界模型研究中心公开资料;语言模型、世界模型相关技术路线仍处在快速研究迭代阶段,不同研究者有不同技术判断;文中观点仅为受访学者观点整理,不代表技术路线优劣定论,不构成项目投资、技术选型建议。
