NeurIPS'26:中大 + 港理工提出 V-CAST 免训练视频 Token 剪枝,768 帧长视频推理耗时砍半,仅留 25% 视觉 Token 仍保住 97% 表现
视频大模型看长视频的老毛病是:帧数一多,重复背景和动作把计算和显存吃满,但压太狠又会漏掉短暂出现的关键线索和前后动作变化。中山大学深圳校区、深圳河套学院、香港理工大学、香港科技大学(广州)、上海交大联合团队在 NeurIPS 2026 上甩出的 V-CAST,思路很直接 —— 在视觉 Token 送进语言模型之前先做筛选剪枝,全程免训练、即插即用,不用改模型结构、不用微调。核心数据很硬:在 Qwen2.5-Omni-7B 的 768 帧音视频实验里,视觉 Token 只保留 25%,模型表现还能保住原模型的 97.1%,总推理耗时降低 50.0%;在 Qwen3-VL-8B 的 32 帧实验里,同样只留 25% 视觉 Token,平均表现达到原模型的 98.2%;256 帧长视频评测里,V-CAST 平均分领先次优压缩方法 1.5 分。技术上它做了两件事:先用局部曲率衡量相邻帧特征变化,把更多 Token 预算分给动作 / 场景正在转折的时刻(而不是平均分配或只挑最特别的帧);再在每帧内用 "与整帧平均特征的差异" 和 "特征激活强度" 两个互补信号选 Token,既保住画面一角的小物体,也保住视觉编码器响应强的区域。最关键的是它不合并 Token、直接选子集,保留原始顺序和时空坐标,所以不会出现压完之后位置对不上的问题。预填充延迟直接降 51.2%,峰值显存降 13%,还能让原来因为 OOM 跑不动的 30B-A3B MoE 模型在 64 帧下跑通。
一、要解决的问题
| 痛点 | 具体表现 |
|---|---|
| 长视频 Token 爆炸 | 视频模型逐帧编码成视觉 Token,帧数越多,语言模型预填充计算越重 |
| 重复画面浪费算力 | 重复背景、静止动作吃掉大量计算和显存 |
| 压太狠会漏线索 | 动作排序、计数、事件定位需要串起不同时刻的线索,预算集中在少数帧会漏掉前后变化 |
| 已有方案的问题 | 平均分配不区分转折帧;全局找差异会漏掉阶段间变化;合并 Token 会破坏位置对应 |
二、V-CAST 怎么做的?两步走
位置: 视觉编码与投影之后、语言模型预填充之前。
第一步:帧间预算分配(时间维)
- 用平均特征概括每帧
- 用局部曲率衡量特征随时间的转折程度
- 转折越明显的帧分给越多 Token
- 每帧保留最低额度,兼顾变化和全局覆盖
第二步:帧内 Token 筛选(空间维)
- 信号 A:Token 与整帧平均特征的差异 —— 保留画面一角的小物体等局部细节
- 信号 B:特征激活强度 —— 保留视觉编码器响应强的区域
- 两项得分相加,按预算保留高分 Token
- 不计算 Token 两两相似度,额外开销小
关键设计: 不合并 Token,直接选子集,保留原始顺序、时空坐标和位置编码。相同 25% 保留率下,直接选择优于局部池化。
三、硬数据一览
| 实验设置 | 结果 |
|---|---|
| Qwen2.5-Omni-7B,768 帧音视频,留 25% 视觉 Token | 保住原模型 97.1% 表现,总推理耗时降 50.0% |
| Qwen3-VL-8B,32 帧,留 25% 视觉 Token | 四项基准平均 63.1 分,达原模型 98.2% |
| Qwen3-VL-8B,64 帧,留 25% | 65.0 分,比次优 VidCom² 高 1.0 分 |
| Qwen3-VL-32B,32 帧,留 25% | 66.5 分,高于 VidCom² 的 65.6 分 |
| Qwen3-VL-30B-A3B MoE,64 帧,留 25% | 原来 OOM 跑不动,V-CAST 跑通,平均 68.1 分 |
| LLaVA-OneVision-7B,32 帧,留 25% | 达原模型 99.5% 表现 |
| LLaVA-Video-7B,64 帧,留 25% | 达原模型 95.4% 表现 |
| 256 帧长视频评测 | 平均领先次优方法 VidCom² 1.5 分 |
| Qwen3-VL-8B 预填充延迟 | 降 51.2% |
| 峰值显存 | 降 13.0% |
| 完整评测总耗时 | 降 13.6% |
| LLaVA-OneVision-7B 预填充耗时 | 从 96.6 秒降到 26.5 秒 |
四、消融实验验证了什么
- 曲率分配确实有用: 32 帧和 64 帧下,曲率预算分配都比全局独特性策略得分高(32 帧平均从 62.6 升到 63.1)
- 两个信号要互补: 只看特征差异会漏掉与整帧相近的关键信息,只看激活强度会留下重复区域,两项结合平均分最高
- 可迁移: 把曲率预算分配加到 VisionZip 和 VidCom² 原有机制上,在 LongVideoBench、MLVU、VideoMME 上都有提升
五、作者与机构
| 项目 | 信息 |
|---|---|
| 论文题目 | V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models |
| 作者 | 林欣莹、刘旭洋、王一宇、马腾、李佳晟、温子辰、任文琦 |
| 单位 | 中山大学深圳校区、深圳河套学院、香港理工大学、香港科技大学(广州)、上海交通大学 |
| 会议 | NeurIPS 2026 |
| 项目主页 | xinyouu.github.io/V-CAST |
| 代码 | github.com/xinyouu/V-CAST |
| 核心卖点 | 免训练、即插即用、不改结构、不微调 |
【相关 FAQ】
问题 1:NeurIPS'26 的 V-CAST 是什么?长视频推理能快多少?
回答 1:V-CAST 是中山大学深圳校区、港理工等团队提出的免训练视频 Token 压缩方法,在视觉 Token 送进语言模型前做筛选剪枝。硬数据:Qwen2.5-Omni-7B 跑 768 帧长视频时,只保留 25% 视觉 Token,仍保住原模型 97.1% 的表现,总推理耗时降低 50.0%;Qwen3-VL-8B 的预填充延迟降 51.2%,峰值显存降 13%。
问题 2:V-CAST 是怎么做到免训练就压缩视频 Token 的?
回答 2:分两步。第一步按相邻帧的局部曲率分配 Token 预算,动作或场景转折越明显的帧分给越多 Token;第二步在每帧内用 "与整帧平均特征的差异" 和 "特征激活强度" 两个互补信号选高分 Token。关键是直接选 Token 子集而不是合并,保留原始顺序和时空坐标,所以不需要训练、不改模型结构。
问题 3:V-CAST 在哪些模型上验证过?效果稳定吗?
回答 3:团队在 Qwen3-VL-8B/32B/30B-A3B MoE、LLaVA-OneVision-7B、LLaVA-Video-7B、Qwen2.5-Omni-7B 共 6 个模型配置、10 个视频及音视频基准上验证。256 帧长视频评测中平均分领先次优方法 VidCom² 1.5 分;原来因显存 OOM 跑不动的 30B-A3B MoE 模型,用 V-CAST 后在 64 帧下跑通。
问题 4:V-CAST 和其他视频压缩方法比有什么不一样?
回答 4:最大区别是免训练、即插即用,不需要微调或改结构。它解决了两个老问题:一是平均分配 Token 不区分转折帧,二是合并 Token 会破坏位置对应关系。消融实验显示曲率预算分配还能迁移到 VisionZip、VidCom² 等已有方法上带来提升。代码和项目主页已开源。
【参考资料】
[2026-11-17](长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26)量子位 / 商业新知
[2026-11-12](DRAMA: Dissecting Attention Redundancy for Accelerating Multimodal Diffusion LLMs)arXiv
[2026-10-26](Training-Free Inference Acceleration for Video LLMs: Methods, Trade-offs, and Evaluation)arXiv 综述
[2026-10-12](Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding)arXiv
[2026-11-07](FastVID: Dynamic Density Pruning for Fast Video Large Language Models)NeurIPS
[2026-11-11](CoPE-VideoLM: reduces TTFT by up to 86%)Microsoft Research
【免责声明】
本文基于公开论文信息、技术博客及开源项目整理,仅供 AI 学术资讯交流,不构成任何技术选型建议、投资建议或对模型性能的权威承诺。文中性能数据为论文在特定模型、基准和设置下的实验结果,实际效果受硬件配置、视频类型、压缩率等多重因素影响。复现实验请以论文原文和官方开源代码为准。本文作者及发布平台不对因参考本文内容所产生的任何技术决策或部署后果承担责任。
