巨大激活成因新解释清华北大从反向传播揭示大模型梯度调节机制

大模型里出现的巨大激活,之前大家大多只从正向推理过程去观察,搞不清它为什么会自发长出来,清华、北大这支团队换了思路,盯着反向传播训

清华、北大团队 NeurIPS 2026从反向传播解释大模型「巨大激活」,注意力汇聚诱导梯度汇聚、RMSNorm 自适应调节局部梯度

核心结论先说: 一项被 NeurIPS 2026 接收、来自清华大学与北京大学研究团队的工作,把 Transformer 大模型中两个长期被观察到、却多