律动造物联合多家全球顶尖科研机构推出 AISLE 也就是 AI Scientists' Last Exam,配套全球首个跑真实湿实验的 Physical AI Verifier 评测体系,相当于给 AI 科学家设置了一场落地物理世界的终极大考,不再只用虚拟试题、文献问答来打分,而是直接让 AI 接入自动化实验室,亲手设计、执行湿实验,再根据真实实验结果打分,打破了之前 AI for Science 评测只在电脑里做题的模式。过去很多科学大模型的榜单测试,都是给论文、数据集、选择题,AI 可以靠检索、背诵文献拿到高分,但是放到真实实验室里,仪器误差、试剂波动、环境干扰都会出现,模型很容易出现实验方案脱离现实、幻觉参数、无法自主修正错误的问题,这也是这套 Physical AI Verifier 要解决的核心痛点。整套评测流程是先给 AI 下达科学目标,AI 自主设计整套实验方案,方案送入自动化实验室完成湿实验,传感器采集真实实验数据回传给 AI,AI 再根据实测结果调整下一步实验计划,全程由 Physical AI Verifier 校验链路证据、逻辑一致性和物理鲁棒性,最后综合输出得分。首轮测试结果也很有参考意义,主流大模型在这套真实湿实验考核里得分普遍偏低,安全约束条件下的优化任务通过率全部归零,也说明现在 AI 科学家在真实物理世界里的能力还有很大短板,这套基准会成为后续物理 AI、科学智能模型统一对比的标尺。
Physical AI Verifier 核心评测校验清单
- 证据链路核查:核验 AI 得出的结论是否由本次实测实验数据支撑,杜绝引用不存在的实验结果
- 逻辑一致性校验:判断 AI 会不会在已经找到最优方案后,继续无意义消耗实验耗材与算力
- 物理噪声盲测:在全新、未提前曝光的环境噪声条件下复测方案,检验鲁棒性
- 闭环自主性打分:不只看最终答案,重点看 AI 能不能自主迭代、发现异常、修正实验方案
- 成本约束指标:统计耗材消耗、实验次数,评估方案经济性
传统 AI 科学评测与 Physical AI Verifier 对比表
| 项目 | 传统 AI 科学虚拟评测 | Physical AI Verifier 真实湿实验评测 |
|---|---|---|
| 测试环境 | 电脑内数据集、文献、仿真平台 | 真实自动化湿实验室,包含试剂、仪器、环境噪声 |
| 考核重点 | 文献理解、计算、答题正确率 | 实验方案设计、自主迭代、应对物理误差、闭环发现 |
| 打分依据 | 参考答案、文本匹配 | 仪器真实测量数据、完整实验执行链路 |
| 短板 | 容易刷榜、存在幻觉,和真实实验室脱节 | 实验成本高、测试周期长,搭建门槛高 |
| 代表榜单 | 各类科学题库、计算化学虚拟 Benchmark | AISLE(AI Scientists' Last Exam) |
本次 AISLE 联合发起与参与机构
- 发起主体:律动造物,谢童博士牵头
- 牵头高校:新南威尔士大学、新加坡国立大学、洛桑联邦理工、加州大学伯克利分校
- 知名学者:Gerbrand Ceder、Philippe Schwaller、汪军等
- 产业参与方:NVIDIA、微软研究院、礼来等
- 实验室资源:两处独立自动化湿实验平台,首轮累计完成 4079 次湿实验
这套评测体系带来的行业变化
- 模型评价标准升级:科学 AI 不再比拼论文答题得分,真实物理实验能力成为硬指标
- 减少刷榜现象:虚拟数据集可以被针对性优化,真实湿实验很难提前刷题
- 倒逼技术方向转变:推动 AI 科学智能体强化误差感知、证据推理,而不是单纯背诵文献
- 统一横向对比:不同团队、不同模型可以在同一个标准化实验室条件下公平 PK
【相关 FAQ】
问题 1:AI Scientists 迎来终极大考,全球首个真实湿实验的 Physical AI Verifier 是什么?
回答 1:AI Scientists 迎来终极大考,全球首个真实湿实验的 Physical AI Verifier 是 AISLE 基准配套的物理 AI 核验系统,它把 AI 接入真实自动化湿实验室,根据真实实验执行结果、证据链路、物理鲁棒性给 AI 科学家打分,区别于纯虚拟题库评测。
问题 2:AI Scientists 终极大考,Physical AI Verifier 为什么要采用真实湿实验而不是仿真测试?
回答 2:AI Scientists 终极大考,Physical AI Verifier 采用真实湿实验,是因为仿真和虚拟数据集缺少仪器误差、试剂波动这类现实干扰,很多 AI 在虚拟环境表现很好,落地到真实实验室就会失效,湿实验可以检验 AI 处理物理不确定性的能力。
问题 3:AI Scientists 终极大考,Physical AI Verifier 首轮测试主流大模型表现怎么样?
回答 3:AI Scientists 终极大考,Physical AI Verifier 首轮测试里,GPT、Claude、Gemini 等主流模型得分普遍偏低,安全约束下的实验优化任务完整通过率全部为 0,说明 AI 自主做真实湿实验的能力还不成熟。
问题 4:AI Scientists 终极大考,Physical AI Verifier 会给 AI for Science 赛道带来什么影响?
回答 4:AI Scientists 终极大考,Physical AI Verifier 会改变 AI 科学模型的评价逻辑,让行业从刷虚拟榜单转向重视真实实验室闭环能力,为物理 AI、科学智能体提供统一、可复现的考核标准。
【参考资料】
[2026-11-09](AI Scientists「终极大考」,全球首个真实湿实验的 Physical AI Verifier 来了)投资界
[2026-11-09](AI 科学家的最后一关:破解数学之后,能把实验做好吗?)DeepTech 深科技
[2026-11-09](AISLE 基准上线:把 AI 科学家送进真实湿实验室统考)36 氪
[2026-11-08](伯克利、EPFL 等多校联合推出物理 AI 湿实验评测基准)机器之心
【免责声明】
本文内容仅为公开新闻信息整理,评测方案、实验数据、模型得分以项目官方、合作实验室发布为准,不构成 AI 模型采购、科研项目投资、商业合作建议,不对信息时效性、完整性做担保。
