VideoMemBench 视频记忆基准一共测评 25 个多模态大模型,在这套专门测试跨轮对话视频记忆的标准下,Claude Opus 5 综合得分 45.7 分,是这批参评模型里成绩最好的,即便拔得头筹,分数本身依然偏低,说明当前大模型长距离视频回记、链式依赖记忆依然是很大短板。这个测试和普通视频问答不一样,它不是单独一问一答,而是一条连续多轮对话,后面的问题必须依赖前面视频画面或者模型自己上一轮回答才能作答,分为场景事件依赖、历史回答依赖两类任务;测试统一送入带时间戳的 128 帧采样画面,完整保留对话上下文,依赖轮次越远、需要同时关联多条历史信息,正确率下滑就越明显,哪怕是第一名的 Claude Opus 5,在严格的答案依赖子项也只有 35.7 分。榜单里其他热门模型紧随其后,Gemini 3.8 Flash、Kimi K3、GPT-5.6-sol 差距不大,开源模型整体分数普遍更低。
评测基础信息
- 评测基准:VideoMemBench
- 参评数量:25 个多模态大模型(闭源 + 开源)
- 输入条件:统一使用 128 个带时间戳视频帧
- 任务特点:跨轮依赖对话,区分事件记忆、回答链式记忆
- 样本规模:326 条视频,合计 2476 轮对话,其中超过一半轮次存在依赖关系
- 计分方式:综合分取逐轮回答、场景依赖、答案依赖三项平均,答案依赖要求整条回答链全部正确才算通过
头部模型得分表
| 模型名称 | 综合得分 |
|---|---|
| Claude Opus 5 | 45.7 |
| Gemini 3.8 Flash | 42.4 |
| Kimi K3 | 42.2 |
| GPT-5.6-sol | 41.7 |
| Qwen3.5-27B | 34.3 |
两个核心记忆任务说明
- 事件依赖(Episodic Dependency):需要记住视频里前面出现过的画面、动作、物体,后面提问回头调取视频视觉信息。
- 答案依赖(Answer Dependency):后续问题建立在模型自己上一轮输出结果之上,只要前面一环错,后面这道题直接判定失败,难度更高。
评测暴露出来的共性问题
- 远距离回记能力衰减明显,依赖间隔达到 5 轮以上,准确率大幅下降。
- 多分支、多历史节点同时引用的复杂依赖,绝大多数模型处理吃力。
- 普通视频 VQA 成绩好的模型,不代表视频跨轮记忆就强,两套能力不完全等价。
【相关 FAQ】
问题 1:25 个大模型视频记忆评测里 Claude Opus 5 拿到 45.7 分,是不是代表它视频理解最强?
回答 1:25 个大模型视频记忆评测里 Claude Opus 5 拿到 45.7 分,只是在 VideoMemBench 视频跨轮记忆这个专项里领先,不等于在所有视频理解、视频问答榜单里最强。
问题 2:25 个大模型视频记忆大考,为什么 Claude Opus 5 拿到第一但只有 45.7 分?
回答 2:25 个大模型视频记忆大考任务门槛很高,要求模型记住多轮对话历史、视频画面并且保证整条回答链正确,任务难度大,所以即使第一名 Claude Opus 5 分数也不到一半。
问题 3:这个 25 个大模型视频记忆评测,对普通用户使用大模型看视频有什么参考?
回答 3:这个 25 个大模型视频记忆评测说明包括 Claude Opus 5 在内的模型,连续长对话回看视频细节、串联历史回答都容易出错,做复杂视频复盘、长视频追踪任务时,最好分段提问。
【参考资料】
[2026-11-21](Claude Opus 5 拿到 45.7 分,25 个大模型视频记忆大考)新浪财经
[2026-11-03](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv
[2026-10-29](VideoMemBench 论文初稿)arXiv
【免责声明】
本文数据来自 VideoMemBench 公开论文与公开资讯;分数、排名只适用于该基准的测试条件,不同评测框架、输入帧数、提示词策略都会改变结果,不代表模型全部视频能力的定论。
