核心结论先说: 一项被 NeurIPS 2026 接收、来自清华大学与北京大学研究团队的工作,把 Transformer 大模型中两个长期被观察到、却多从前向计算角度解释的现象 —— 注意力汇聚(Attention Sinks)和巨大激活(Massive Activations)—— 放到反向传播视角下重新梳理。团队提出:在因果掩码结构下,注意力向少数开头 Token 集中,不仅在前向路由 Value,还会在训练时把梯度也集中到这些位置,形成 "梯度汇聚"(Gradient Sinks);而局部偏大的残差流激活,会借助 RMSNorm 的梯度收缩特性衰减这些集中的训练压力。换句话说,看起来数值异常大的 "巨大激活",未必是模型出了故障,更可能是训练过程中自发形成的一种自适应梯度调节结构。论文通过一种名为 V-scale 的修改调整 Value 路径上的反传梯度,在保留注意力汇聚的同时抑制了巨大激活,从实验上支持了这一解释。需要先划清边界:这是一项模型机理与可解释性研究,回答的是 "现象为什么会出现",并不等于直接提升了模型性能,也不意味着现有大模型已经按这套机制做了工程优化。
一、先认识两个反复出现的模型现象
1. 注意力汇聚(Attention Sinks)
- 大模型处理序列时,开头少数几个 Token 往往吸引大量注意力权重,即使这些 Token 本身没有多少实际语义。
- 模型在推理过程中频繁 "回看" 这些位置,注意力分布长期向少数点集中。
2. 巨大激活(Massive Activations)
- 与注意力汇聚常出现在同一位置:模型内部计算产生的部分激活数值变得非常大,显著高于周围位置。
- 在 pre-norm Transformer 中,残差流范数偏大在前向计算里只起间接作用,因为各子层实际作用于归一化之后的输入,这也让 "激活为什么变大" 显得更难解释。
3. 两者的关系与过往解释局限
- 已有研究主要从前向计算出发,观察模型如何处理输入、形成输出,对反向传播路径上发生了什么关注较少。
- 两个现象总是伴随出现,但它们之间是因果关联、结构耦合,还是各自独立形成,此前缺乏统一的解释链条。
二、研究是从哪个角度切入的
1. 研究对象与基本设定
- 架构基础:采用 pre-norm 结构的 Transformer 大模型。
- 掩码条件:因果掩码(causal masking)下的自回归训练场景。
- 分析路径:从损失函数沿网络反向传回的梯度信号入手,追踪梯度在注意力子层、残差流和 RMSNorm 之间的传递与变化。
2. 基本训练背景知识
| 环节 | 作用 | 在本研究中的位置 |
|---|---|---|
| 前向传播 | 输入 Token 经过注意力、MLP 等子层形成预测 | 过往解释的主要视角 |
| 反向传播 | 损失梯度沿网络逐层传回,更新参数 | 本研究新增的观察视角 |
| RMSNorm | 对激活做均方根归一化,稳定数值分布 | 被发现同时参与梯度收缩 |
| 残差流 | 跨层传递激活与梯度的主干通路 | 巨大激活与梯度调节发生的主要位置 |
3. 论文基本信息
| 项目 | 内容 |
|---|---|
| 论文题目 | Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers |
| 作者 | Yihong Chen、Zhouchen Lin、Quanming Yao |
| 机构背景 | 清华大学电子工程系、北京通用人工智能研究院;北京大学智能科学与技术系相关团队 |
| 收录情况 | NeurIPS 2026 Poster |
| 论文编号 | arXiv:2603.17771 |
| 开源代码 | LARS-research/GradientSink |
三、核心机制:注意力汇聚如何引出梯度汇聚
1. 梯度在 Value 路径上被集中
- 前向阶段,注意力权重把不同位置的 Value 加权汇聚到少数 Token 上;到了反向阶段,这种汇聚结构同样会把回传梯度集中到少数位置。
- 团队把这种训练信号的局部集中称为 "梯度汇聚"(Gradient Sinks),它可以理解为注意力汇聚在反向传播中的对应物。
- 实测观察到:首 Token 的梯度经过注意力子层之后被急剧放大,但残差流上的梯度尺度反而相对稳定。
2. RMSNorm 如何收缩集中的梯度
- 团队从理论上分析了 RMSNorm 的梯度传递性质:在其他条件相同时,输入激活的尺度越大,RMSNorm 对反向梯度的收缩能力越强。
- 更严格地说,RMSNorm 雅可比矩阵的算子范数上界与输入激活的均方根(RMS)尺度成反比。
- 这意味着激活尺度本身可以成为一种局部梯度调节手段:哪里梯度压力集中,哪里就可能通过放大激活尺度,让经过 RMSNorm 的分支梯度被压回更平稳的范围。
3. 完整机制链
- 注意力权重向少数开头 Token 集中,形成注意力汇聚。
- 反向传播时,Value 路径上的梯度被同样的汇聚结构集中,形成梯度汇聚。
- 局部过大的训练压力沿残差流传回,触发该位置激活尺度增大。
- 偏大的激活经过 RMSNorm 时,更强的梯度收缩把分支梯度压下来,维持残差流梯度尺度稳定。
- 巨大激活由此被理解为一种训练中自发形成的自适应调节结构,而不是单纯的数值异常。
4. 机制对应关系一览
| 前向现象 | 反向传播对应 | 调节部件 | 最终效果 |
|---|---|---|---|
| 注意力汇聚:权重集中到少数 Token | 梯度汇聚:训练信号集中到少数位置 | Value 路径 | 局部梯度压力上升 |
| 残差流激活尺度偏大 | 大激活经过 RMSNorm 收缩梯度 | RMSNorm | 残差流梯度尺度保持稳定 |
| 巨大激活数值突出 | 自适应梯度调节响应 | 归一化层与残差流 | 缓解局部训练压力积累 |
四、实验验证:抑制梯度汇聚后,巨大激活是否会减弱
1. 可检验的预测
- 如果巨大激活确实是对梯度汇聚的自适应响应,那么人为衰减这些由 sink 位置诱导的梯度,理论上应该削弱对应的巨大激活;与此同时,前向的注意力汇聚未必消失。
2. V-scale 修改与对照设计
- V-scale:一种针对 Value 路径反传梯度的修改,用于调整回传到 Value 分支上的梯度尺度。
- V-scale 模型:在训练 / 反向过程中施加该修改,观察前向注意力与后向激活的变化。
- Backward-only 对照:只改动反向传播路径,不改变前向计算结构,用于隔离梯度路径的作用。
3. 实验观察结果
| 观察项 | V-scale 模型与反向对照中的表现 | 支持的解释 |
|---|---|---|
| 注意力汇聚 | 仍然保留 | 注意力集中主要属于前向结构特性 |
| 巨大激活 | 被明显抑制 | 大激活依赖反向梯度汇聚的训练压力 |
| 残差流梯度 | 集中压力被人为调整后,对应大激活不再维持 | 巨大激活是 RMSNorm 介导的自适应响应 |
4. 实验结论
- 梯度汇聚是注意力汇聚在反向传播中的对应现象,二者分属训练过程的不同路径。
- 巨大激活不是孤立的前向数值问题,而是模型对局部集中训练压力做出的、由 RMSNorm 参与介导的自适应补偿。
五、这项研究的意义与适用边界
1. 研究价值
- 为 Transformer 可解释性补上了反向传播这一侧的观察:很多前向异常现象,需要结合训练时的梯度流动才能解释完整。
- 把激活尺度、归一化层和梯度稳定性串成一条机制链,为理解训练动态、激活分布异常和长序列下的位置偏置提供了新的分析框架。
- 对后续设计归一化方案、优化训练稳定性、解释特殊位置的激活行为,可能提供参考思路。
2. 当前边界
- 结论基于特定架构(pre-norm Transformer)和因果掩码下的训练场景,迁移到双向模型、其他归一化结构或推理阶段时需要单独验证。
- 论文给出的是机理解释与对照实验,不代表该机制已被用于提升模型精度、降低训练成本或直接落地到产品模型。
- 注意力汇聚、梯度汇聚和巨大激活之间的完整因果链条,仍需要在更多模型规模、数据类型和训练阶段上继续检验。
六、总结
清华、北大团队这项工作把镜头从 "模型怎么算出来" 转向 "训练时梯度怎么传回去":注意力汇聚在前向集中 Value,在反向则集中梯度,形成梯度汇聚;偏大的激活通过 RMSNorm 把这些局部梯度压力压回平稳范围,于是表现为位置突出的巨大激活。V-scale 实验在保留注意力汇聚的同时抑制巨大激活,验证了 "大激活是梯度调节器" 这一解释。对大模型研究而言,这是理解 Transformer 内部训练动态的一块新拼图;对普通读者来说,更稳妥的理解方式是:模型里看似反常的大数值,可能承担着稳定训练的结构作用,而不能简单当作缺陷处理。
【相关 FAQ】
问题 1:大模型里的「巨大激活」是什么,清华、北大这项研究为什么从反向传播去解释它?
回答 1:巨大激活指模型内部部分位置的激活数值远高于周围、且常与注意力汇聚同时出现的现象。过往研究多从前向计算观察输入如何变成输出,而这项清华、北大参与的研究发现,pre-norm Transformer 中子层只作用于归一化输入,残差流上的大激活在前向作用有限,因此转向反向传播路径,追踪梯度如何在注意力子层、残差流和 RMSNorm 之间传递,寻找巨大激活形成的训练层面原因。
问题 2:注意力汇聚和梯度汇聚在这项研究里是什么关系?
回答 2:注意力汇聚是前向阶段少数开头 Token 吸收大量注意力权重的现象;梯度汇聚是团队提出的反向传播对应物 —— 因果掩码下,注意力汇聚结构会把 Value 路径上的回传梯度也集中到少数位置。论文认为两者是同一结构在训练前向与反向两条路径上的表现,巨大激活则是对梯度汇聚带来的局部压力做出的响应。
问题 3:RMSNorm 在巨大激活形成机制里起什么作用?
回答 3:研究从理论上分析了 RMSNorm 的梯度传递性质,指出其雅可比矩阵算子范数上界与输入激活的 RMS 尺度成反比:输入激活尺度越大,对反向梯度的收缩能力越强。因此偏大的残差流激活可以通过 RMSNorm 衰减传回残差流的分支梯度,把局部集中的训练压力压平稳,巨大激活由此被理解为 RMSNorm 介导的自适应梯度调节结构。
问题 4:这项研究用什么实验验证机制,结论能不能直接用于优化现有大模型?
回答 4:团队设计了 V-scale 修改来调整 Value 路径上的反传梯度,并设置仅改动反向路径的对照;结果显示注意力汇聚被保留的同时,巨大激活受到抑制,支持 "梯度汇聚诱发大激活" 的解释。目前这仍是机理解释与对照实验阶段的成果,结论主要针对 pre-norm Transformer 和因果掩码场景,能否转化为训练稳定性优化、归一化层设计或模型性能提升,还需要后续研究在更多模型与任务上验证,不能直接视为工程落地方案。
【参考资料】
- [2026-11-21](大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索)新浪财经
- [2026-10-19](Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers)alphaXiv
- [2026-03](Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers)arXiv
【免责声明】
本文基于公开论文摘要、机构信息与媒体报道整理,仅供学术科普参考。论文中的机制结论建立在特定 Transformer 架构、归一化方式和训练条件之上,相关术语与实验细节以 arXiv 原文及 NeurIPS 2026 正式版本为准;该研究属于可解释性与训练机理解析范畴,不构成对任何大模型产品性能、训练成本或商用效果的承诺。读者如需引用理论推导或实验数据,请核对论文原文与开源代码中的复现条件。
