大模型里出现的巨大激活,之前大家大多只从正向推理过程去观察,搞不清它为什么会自发长出来,清华、北大这支团队换了思路,盯着反向传播训练过程做实验推导,发现注意力汇聚会带来梯度汇聚,也就是梯度集中压在序列开头少数 token 上,而巨大激活是模型在 RMSNorm 结构下,自发形成的梯度调节手段,用来抵消局部梯度过载、稳住整个预训练过程,这个结论打通了注意力汇聚、梯度汇聚、巨大激活三者之间的因果链条,也补上了之前研究只看前向计算留下的解释缺口。
一、基础概念说明清单
- 巨大激活(Massive Activations):大模型隐藏层里极少数神经元激活值远大于其他数值,差距最高可达上万倍,大多固定出现在序列起始 token 位置,输入变化时数值基本不变
- 注意力汇聚(Attention Sink):长文本推理时,后面大量 token 的注意力权重都集中投向开头少数 token,是大模型很常见的现象
- 梯度汇聚(Gradient Sink):本次研究新提炼的机制,因果掩码约束下,注意力汇聚会让反向传播的梯度全部堆积在 sink token 上,造成局部梯度压力过大
- RMSNorm:Transformer 预归一架构里常用的归一化算子,它会根据激活大小反向衰减回传梯度,是巨大激活发挥调节作用的关键载体
二、研究核心逻辑步骤
- 观测现象:多个主流大模型同时存在注意力汇聚和巨大激活,二者经常绑定出现,过往研究只在推理前向链路找原因
- 切换视角:把分析重心放到训练阶段的反向传播链路,追踪梯度流动
- 理论推导:因果注意力掩码下,注意力汇聚天然会转化成梯度汇聚,少数 token 承受超高梯度,容易造成训练不稳定
- 模型自调节:RMSNorm 的梯度衰减特性,让模型训练时自发长出巨大激活,用放大激活值的方式,把堆积的梯度削弱
- 对照验证:论文设计 V-scale 修改方案,调整 value 分支回传梯度,能保留注意力汇聚、同时抑制巨大激活,验证了梯度汇聚是中间诱因
三、论文基础信息表
| 项目 | 详情 |
|---|---|
| 论文标题 | Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers |
| 收录会议 | NeurIPS 2026 |
| 作者单位 | 清华大学、北京大学 |
| 核心论点 | 巨大激活不是单纯的副产物,是训练时用来平衡梯度汇聚的自适应调节器 |
| 开源资源 | 论文 arXiv 链接、配套实验代码已公开 |
四、研究带来的实际影响
- 训练优化:解释了长序列预训练不稳定的一类隐藏诱因,后续可以针对性设计梯度约束方案
- 量化部署:巨大激活数值极端,一直是量化、低精度推理的难点,新机制可以指导量化策略优化
- 模型修改:不用强行消除注意力汇聚,可通过梯度侧干预,可控调整巨大激活强弱,兼顾长文本能力和部署成本
- 机理理解:证明很多大模型怪异的涌现特征,根源藏在反向传播优化动态里,而不是推理前向逻辑
【相关 FAQ】
问题 1:大模型长出巨大激活,清华北大这项反向传播研究给出了什么解释?
回答 1:这项研究认为,注意力汇聚会在反向传播时产生梯度汇聚,梯度集中堆积在少数 token 上,在带 RMSNorm 的 Transformer 里,巨大激活是模型训练过程自发形成的梯度调节器,用来衰减过载的局部梯度,保障训练稳定。
问题 2:巨大激活和注意力汇聚、梯度汇聚三者之间是什么关系?
回答 2:注意力汇聚是起点,它会在反向传播阶段诱发梯度汇聚,梯度汇聚带来过大局部梯度压力,进而驱动模型训练生成巨大激活,巨大激活再借助 RMSNorm 去削弱集中的梯度,三者形成一条训练动态链路。
问题 3:研究从反向传播研究巨大激活,和之前的相关研究差别在哪?
回答 3:之前关于巨大激活的研究大多只分析推理阶段的前向计算,把巨大激活当成一种固定偏置;而清华北大本次工作聚焦训练反向传播梯度流动,提出巨大激活是应对梯度汇聚的自适应产物,提供了成因层面的新解释。
问题 4:理解巨大激活的反向传播机制,对大模型工程落地有什么用处?
回答 4:理解巨大激活的反向传播梯度调节机制,可以帮助优化长文本预训练稳定性、解决巨大激活带来的量化精度损失问题,还能在保留注意力汇聚长文本能力的前提下,设计可控抑制巨大激活的微调方案。
【参考资料】
[2026-11-21](大模型为何长出「巨大激活」?清华、北大研究从反向传播找到新线索)机器之心
[2026-03-28](Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers)arXiv
【免责声明】
本文内容基于公开论文资讯整理,仅用于技术科普,研究结论属于阶段性学术假说,尚未形成行业定论;模型效果、机理细节以论文原文与复现实验为准,不构成训练、调参、商用部署的决策建议。
