Prefrontal AI 联合苏黎世联邦理工发布 Latent Sparse Attention(LSA,隐空间稀疏注意力)论文,在 1000 万 token 超长上下文场景,GLM-5.3-Flash 单层 prefill 预填充阶段,相比 DeepSeek DSA 稀疏注意力实现 22.7 倍加速,在 Qwen3.8-27B 模型上对比全注意力最高提速 72.4 倍,并且任务精度几乎没有损失。传统 DeepSeek 式 DSA 稀疏注意力是逐个 token 检索筛选,上下文拉到千万 token 级别时,token 检索索引环节开销会急剧上涨,变成性能瓶颈。LSA 的思路是把 key 映射到可学习的潜在空间做层次聚类,查询不再逐个对全部 token 打分,直接在聚类层级做筛选,大幅减少计算量。该方案提供两个版本,D-LSA 蒸馏版本可以直接适配已经预训练完成的大模型,不需要从头完整重训;N-LSA 原生版本端到端训练,在长上下文任务上性能更好。下面整理 LSA 核心指标、技术原理和落地测试步骤。
LSA 核心性能指标清单
- 技术名称:Latent Sparse Attention(LSA,隐空间稀疏注意力)
- 测试上下文长度:10M token(千万 token)
- GLM-5.3-Flash:prefill 相比 DeepSeek DSA 提速 22.7 倍,解码阶段提速 4.6 倍
- Qwen3.8-27B:prefill 相比全注意力提速 72.4 倍,解码阶段提速 42.5 倍
- 模型精度:长上下文基准 LongBench、RULER 任务性能与原模型基本持平
- 两个分支:D-LSA 蒸馏适配存量模型、N-LSA 原生端到端训练模型
LSA 技术原理
- 将 key 投影到低维可学习隐空间,做层次聚类分组。
- 查询向量先在聚类层级做粗筛选,只保留相关性高的簇。
- 仅在筛选出来的簇内部,做精细 token 打分,跳过大量无关 token。
- 大幅削减超长上下文下索引检索的开销,解决 DSA 在千万 token 场景索引变慢的痛点。
技术验证落地步骤
- 在 GLM、Qwen 系列大模型上,分别接入 D-LSA 蒸馏版本,不改动模型主体权重。
- 选用 LongBench、RULER 长文本基准,测试长文本检索、摘要任务精度。
- 在 10M token 超长上下文,分别测试 prefill 预填充和解码阶段 GPU 耗时。
- 对比 DeepSeek DSA 稀疏注意力、标准全注意力的速度与显存占用。
- 评估工程部署成本,验证该方案能否直接替换现有稀疏注意力内核。
事件小结
LSA 隐空间稀疏注意力,针对千万 token 超长上下文场景,解决传统稀疏注意力 token 索引开销过大的短板,在保留模型能力的前提下,实现远超 DeepSeek DSA 的预填充速度,对需要百万、千万级长上下文的代码库分析、海量文档检索类大模型场景价值很高。
【相关 FAQ】
问题 1:千万 token 场景下 LSA 隐空间稀疏注意力相比 DeepSeek 式稀疏注意力提速 22 倍,核心原理是什么?
回答 1:千万 token 场景下 LSA 隐空间稀疏注意力相比 DeepSeek 式稀疏注意力提速 22 倍,LSA 把 key 映射到隐空间做层次聚类,查询先筛选簇再细选 token,不用逐个遍历全部 token,大幅降低超长上下文检索开销。
问题 2:千万 token 场景 LSA 相比 DeepSeek 式稀疏注意力提速 22 倍,D-LSA 和 N-LSA 版本有什么区别?
回答 2:千万 token 场景 LSA 相比 DeepSeek 式稀疏注意力提速 22 倍,D-LSA 是蒸馏版本,可以直接适配已训练好的大模型;N-LSA 为原生训练版本,端到端训练,长上下文性能上限更高。
问题 3:千万 token 场景 LSA 相比 DeepSeek 式稀疏注意力提速 22 倍,模型精度会不会明显下降?
回答 3:千万 token 场景 LSA 相比 DeepSeek 式稀疏注意力提速 22 倍,在 LongBench、RULER 长文本测试任务中,LSA 可以维持和原始模型相近的任务精度,在提速的同时基本不损失长文本能力。
【参考资料】
[2026-11-17](千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍)36 氪
[2026-11-17](Latent Sparse Attention,千万 token 长上下文稀疏注意力技术解读)智源社区
[2026-10-31](Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention)arXiv 论文官网
[2026-10-30](LSA 隐空间稀疏注意力论文发布,面向千万 token 超长上下文)ThinkLLM
【免责声明】
本文资讯仅为 AI 论文技术内容整理,不构成模型训练、推理部署、算力采购决策建议;LSA 目前为学术论文方案,工程落地、内核优化、硬件适配还存在不确定性,最终性能表现以开源代码实测结果为准,资讯存在更新变动可能。
