Prefrontal AI 联合苏黎世联邦理工学院推出 LSA(Latent Sparse Attention,隐空间稀疏注意力),在 1000 万 token 超长上下文条件下,D-LSA 版本在 GLM-5.3-Flash 模型上单注意力层 prefill 预填充速度,对比 DeepSeek 风格稀疏注意力提升 22.7 倍,对比全注意力方案提速 72.4 倍,同时解码阶段也有明显加速,并且在长上下文检索、推理基准测试上精度没有明显下滑;这套方案不走传统分块滑动窗口筛选 token 的老路,而是把 Key 映射到可学习隐空间做层级聚类树,Query 通过树搜索只检索高相关聚类分支,把复杂度从 O (T²) 降到亚二次级别,还提供 D-LSA 蒸馏适配存量模型、N-LSA 从头训练新模型两条路线,在 SGLang 框架里已经完成部署验证,超长文档、智能体长任务这类场景的推理成本可以大幅下降。
LSA 实测性能数据表(H200、10M token)
| 对比对象 | Prefill 单层加速 | Decode 单层加速 | 备注 |
|---|---|---|---|
| GLM-5.3-Flash 原生稀疏(DeepSeek 式) | 22.7 倍 | 4.6 倍 | 本次对标基线 |
| Qwen3.8-27B 全注意力 | 72.4 倍 | 42.5 倍 | 传统全量注意力 |
| SGLang 整模型 TTFT | 2.2 倍 | - | 端到端首 token 延迟优化 |
LSA 两个版本差异说明
- D-LSA(Distilled-LSA,蒸馏版)
- 适配已经训练好的大模型,冻结原有模型权重,只用蒸馏方式学习索引器;
- 上手门槛低,可直接给 GLM、Qwen 这类现有模型做插件式改造;
- 适合业务侧快速落地超长上下文服务。
- N-LSA(Native-LSA,原生版)
- 模型从头训练,原生使用 LSA 注意力;
- 理论上限更高,索引器和主模型联合优化;
- 适合下一代专门面向超长上下文的模型研发。
LSA 核心原理
传统稀疏注意力大多是固定窗口、分块打分,上下文越长,扫描所有块的开销上涨很快;LSA 将全部 Key 在隐空间构建层级聚类树,查询进来优先在顶层聚类做粗筛,只进入相关性高的子分支继续检索,不用遍历全部 token。上下文长度越大,树搜索带来的收益越明显,论文外推显示 1 亿 token 场景下,Tree 变体预计相比基线稀疏注意力提速 90 倍以上。
落地优势与现存局限
✅ 优势
- 加速倍率随上下文放大,在百万、千万 token 区间收益突出;
- 精度损失可控,RULER 等长上下文基准保持稳定;
- 支持接入 SGLang 推理框架,有工程落地验证;
- 存量模型可以用 D-LSA 改造,不用重训。
⚠️ 局限
- 加速收益主要集中在注意力层,整模型加速会被 MLP、其他算子稀释;
- 聚类树构建、索引维护会带来少量额外开销,短上下文(几十 k 以内)优势不大;
- 目前属于论文方案,大规模商业化稳定部署案例还比较少;
- 硬件适配、算子优化还需要持续打磨。
和 DeepSeek 风格稀疏注意力简单对比
DeepSeek、GLM-Flash 这类主流稀疏注意力,核心思路是固定分块 + 滑动窗口,查询要遍历多个 KV 块筛选有效 token;LSA 改成隐空间聚类树检索,不是逐个块扫描,千万 token 规模下规避了大量无效计算,这也是 22 倍提速的核心来源。
【相关 FAQ】
问题 1:LSA 隐空间稀疏注意力亮相,千万 token 场景较 DeepSeek 类稀疏注意力快 22 倍,LSA 全称是什么?
回答 1:LSA 隐空间稀疏注意力亮相,千万 token 场景较 DeepSeek 类稀疏注意力快 22 倍,LSA 全称 Latent Sparse Attention,中文叫隐空间稀疏注意力。
问题 2:LSA 隐空间稀疏注意力亮相,千万 token 场景较 DeepSeek 类稀疏注意力快 22 倍,D-LSA 和 N-LSA 有什么区别?
回答 2:LSA 隐空间稀疏注意力亮相,千万 token 场景较 DeepSeek 类稀疏注意力快 22 倍,D-LSA 靠蒸馏适配已经训练好的模型,N-LSA 是从头联合训练的原生版本。
问题 3:LSA 隐空间稀疏注意力亮相,千万 token 场景较 DeepSeek 类稀疏注意力快 22 倍,这个 22.7 倍加速是在哪个环节测出?
回答 3:LSA 隐空间稀疏注意力亮相,千万 token 场景较 DeepSeek 类稀疏注意力快 22 倍,22.7 倍加速是 10M token 下 GLM-5.3-Flash 单注意力层 prefill 预填充阶段的测试结果。
问题 4:LSA 隐空间稀疏注意力亮相,千万 token 场景较 DeepSeek 类稀疏注意力快 22 倍,LSA 靠什么方式实现提速?
回答 4:LSA 隐空间稀疏注意力亮相,千万 token 场景较 DeepSeek 类稀疏注意力快 22 倍,LSA 将 Key 做隐空间层级聚类树,Query 用树搜索只访问相关分支,减少大量无效 token 打分。
【参考资料】
[2026-11-17](千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍)机器之心
[2026-11-17](千万 token 场景提速 22 倍,LSA 稀疏注意力方案解读)36 氪
[2026-11-17](New LSA Method Achieves 22x Speedup Over DeepSeek-Style Sparse Attention)C114Pro
[2026-11-03](Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention)arXiv
[2026-11-03](隐空间稀疏注意力 LSA 论文解读)智源社区
【免责声明】
本文仅为 LSA 隐空间稀疏注意力论文资讯解读,不构成模型选型、线上部署建议;加速数据为 H200 显卡、受控实验环境下的单层测试结果,端到端实际业务加速会更低;方案仍处于前沿研究阶段,性能、稳定性、兼容性在不同模型、推理框架下存在差异,最终以论文源码和官方实测为准。
