伦敦初创公司 Prefrontal AI 联合苏黎世联邦理工 ETH 推出 LSA(Latent Sparse Attention,隐空间稀疏注意力),在 1000 万 token 超长上下文场景,单层注意力 Prefill 预填充速度相比 DeepSeek 这类传统稀疏注意力方案提升 22.7 倍,同时模型精度没有明显下滑,解决了超长上下文里索引检索开销过高的痛点。传统稀疏注意力包括 DeepSeek 常用的方案,虽然减少需要计算的 token 数量,但筛选相关 token 的索引检索环节依然是二次复杂度,到千万 token 级别时,索引检索会吃掉接近 98% 的算力,越拉长上下文速度越慢。LSA 的思路是把 Key 向量在隐空间里按语义做层级聚类,查询的时候走树搜索优先匹配最相关聚类簇,不用全部扫描所有历史 token,把复杂度降到次二次级别。LSA 分两个版本,D-LSA 适合已经训练好的现有大模型,通过蒸馏方式改造接入;N-LSA 是原生训练版本,从头预训练时就用这套注意力机制。测试在 H200 显卡上完成,除了对比稀疏注意力提速 22.7 倍,对比标准全注意力 Prefill 提速 72.4 倍,Decode 阶段也有 4.6 倍提速,整套方案已经开源适配 SGLang 推理框架。
LSA 方案核心信息清单
✅ 基础信息
- 方案名称:LSA 隐空间稀疏注意力,分为 D-LSA、N-LSA 两个变体
- 研发主体:Prefrontal AI + ETH 苏黎世联邦理工
- 测试环境:NVIDIA H200 GPU,10M token 上下文
- D-LSA 对比传统稀疏注意力:Prefill 提速 22.7 倍,Decode 提速 4.6 倍
- D-LSA 对比全注意力:Prefill 提速 72.4 倍,Decode 提速 42.5 倍
- N-LSA 在 128k token 下,单层训练速度提升 1.6 倍,精度对标全注意力
- D-LSA:蒸馏改造,可直接给已有预训练模型升级
- N-LSA:原生预训练使用,适合全新模型开发
- 开源:配套 SGLang 分支,提供 H200、B300 的 GPU 内核
✅ 性能数据(单层注意力)
✅ 适配情况
不同注意力方案对比表
| 方案 | 索引逻辑 | 千万 token 痛点 |
|---|---|---|
| 传统稀疏注意力(DeepSeek 式) | 逐 token 扫描筛选 | 索引开销巨大,占绝大多数算力,速度瓶颈明显 |
| LSA 隐空间稀疏注意力 | 语义层级聚类 + 树搜索 | 只检索高相关聚类簇,索引开销大幅降低,精度稳定 |
| 标准全注意力 | 全部 token 两两计算 | 算力随上下文平方暴涨,千万 token 基本不可用 |
补充说明
- 22.7 倍是单层注意力的加速比,传导到整个模型的端到端加速会被稀释
- 上下文越长,LSA 的加速优势越明显,推算 1 亿 token 场景下加速有望超过 90 倍
- 精度测试在 RULER、PaperTrail 长上下文基准上完成,和原模型差距很小
【相关 FAQ】
问题 1:LSA 隐空间稀疏注意力,千万 token 下比 DeepSeek 式稀疏注意力快多少?
回答 1:LSA 隐空间稀疏注意力在 1000 万 token 测试场景,单层 Prefill 预填充相比 DeepSeek 式稀疏注意力提速 22.7 倍,Decode 阶段提速 4.6 倍。
问题 2:LSA 为什么能在千万 token 场景超越 DeepSeek 这类稀疏注意力?
回答 2:DeepSeek 式稀疏注意力的瓶颈在索引检索,千万 token 下索引开销占 98% 算力;LSA 把 Key 做语义层级聚类,用树搜索找相关 token,减少扫描开销,复杂度降到次二次。
问题 3:LSA 的 D-LSA 和 N-LSA 两个版本有什么区别?
回答 3:D-LSA 是蒸馏版本,不用重新训练,改造现有模型就能用上;N-LSA 是原生版本,模型从头预训练就使用 LSA,在 128k token 下训练速度提升 1.6 倍。
问题 4:LSA 千万 token 下比 DeepSeek 式稀疏注意力快 22 倍,这套方案可以直接拿来部署吗?
回答 4:LSA 已经开源,适配 SGLang 推理框架,提供 H200、B300 的 GPU 内核,开发者可以基于开源代码改造部署,单层加速很高,端到端加速会被模型其他模块稀释。
【参考资料】
[2026-11-17](千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍)机器之心
[2026-11-17](千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍)36 氪
[2026-11-17](New LSA Method Achieves 22x Speedup Over DeepSeek-Style Sparse Attention)C114Pro
[2026-11-03](Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention)arXiv
[2026-11-03](Prefrontal 发布 LSA,千万 token 超长上下文注意力方案)微博 @爱可可 - 爱生活
【免责声明】
本文资讯整理自论文与媒体公开测试数据,LSA 千万 token 下比 DeepSeek 式稀疏注意力快 22 倍是 H200 显卡特定测试条件下的单层加速结果;端到端推理速度、实际业务效果受模型、显卡、prompt 结构影响,内容仅供技术资讯阅读参考,一切以论文源码与官方实测为准。
