您的位置首页 >人工智能 >

大模型基础面FFN 前馈神经网络是什么,为什么占了模型三分之二参数

核心答案:FFN(Feed-Forward Network,前馈神经网络,也常叫 MLP 层)是 Transformer 每个 Block 里跟在自注意力后面的第二个子层,它对每个 token 独立做一次 "升维 — 非线性激活 — 降维" 的两层全连接变换。很多人把注意力当成大模型的主体,实际上 FFN 才是参数大头:单层 Block 里注意力约占三分之一、FFN 约占三分之二,GPT-3 的 175B 参数中约 115B(66%)都在 FFN 里。注意力负责 "token 之间怎么交流",FFN 负责 "单个 token 的信息怎么加工、知识存在哪";现代主流模型(LLaMA、Qwen、PaLM、Mistral、DeepSeek)普遍把标准 ReLU/GELU FFN 换成 SwiGLU 门控版本,再往后 MoE 架构就是把一个宽 FFN 拆成多个专家 FFN 由路由器挑选。

一、FFN 在 Transformer Block 里的位置

一个标准 Pre-Norm Transformer Block 从上到下两层:

  1. 残差 → RMSNorm/LayerNorm → 多头自注意力 → 残差连接;
  2. 残差 → RMSNorm/LayerNorm → FFN → 残差连接。

两个子层各自带残差,注意力管跨 token,FFN 管单 token,二者串联。

二、标准 FFN 的两层结构

输入是一个 token 的隐向量 x,维度 d_model:

步骤计算维度变化
升维线性层 W1h = W1·x + b1d_model → d_ff(通常 4×d_model)
非线性激活 σa = σ(h)维度不变
降维线性层 W2y = W2·a + b2d_ff → d_model

公式:FFN (x) = W2・σ(W1・x),现代模型大多去掉偏置 b。

  • 经典激活:ReLU、GELU(GPT-2、BERT、早期 T5);
  • d_ff 常取 4・d_model,给非线性变换留出足够空间;
  • 位置独立:每个 token 的 FFN 计算互不依赖,所以可以整序列并行,这跟注意力必须等其他 token 不一样。

三、参数量:为什么说 FFN 占三分之二

以 d_model、d_ff=4d 估算单层 Block:

子层矩阵参数量级
注意力Q/K/V/O 四个投影矩阵4・d²(约 1/3)
FFNW1、W2 两个矩阵2・d・d_ff ≈ 8・d²(约 2/3)

实测对照:

模型d_modeld_ff说明
LLaMA 7B409611008SwiGLU,8/3 倍取整到 256 倍数
LLaMA 13B512013824同上
LLaMA 65B819222016同上
GPT-3 175B——FFN 约 115B,占 66%

四、现代变体:SwiGLU 门控 FFN

原始 FFN 只有一条支路,SwiGLU(Noam Shazeer,2020 年论文 GLU Variants Improve Transformer)把升维拆成两条,用一条给另一条 "开门":

门控支路:gate = SiLU(W_gate · x)

内容支路:up = W_up · x

隐藏层: h = gate ⊙ up (逐元素相乘)

输出: y = W_down · h

  • SiLU(Swish):SiLU (x) = x・σ(x),平滑、允许轻微负值;
  • 三个矩阵 W_gate / W_up / W_down,替代原来两个;
  • 为保持参数量和标准 FFN 相当,d_ff 取 8/3・d_model(而不是 4d);
  • 采用模型:LLaMA 1/2/3、PaLM、Mistral、Mixtral、Qwen2/Qwen3、DeepSeek V2/V3。

标准 FFN vs SwiGLU 对照

项目标准 FFNSwiGLU
支路数12(门 + 内容)
激活ReLU/GELUSiLU + 门控相乘
矩阵数23
d_ff4d8/3 d(控参数量)
代表GPT-2、BERTLLaMA、Qwen、DeepSeek
实测基线验证困惑度更低

五、FFN 到底在干什么

  1. 知识存储:模型记住的事实("法国首都是巴黎" 这类)主要编码在 FFN 权重里,注意力提供检索上下文,FFN 提供内容;
  2. 逐 token 非线性加工:把注意力聚合来的信息做特征变换,决定本位置往下一层传什么;
  3. 表达力来源:没有非线性激活,两层线性等价于一层线性,模型容量上不去;
  4. 与 MoE 的关系:MoE 不再用一个超大 FFN,而是放 N 个专家 FFN,路由器对每个 token 选 Top-K 个专家计算,稀疏激活省算力 —— 被替换的对象正是这个 FFN。

六、一个最小计算示例(LLaMA 7B 单层 FFN)

  • d_model=4096,d_ff=11008;
  • W_gate:4096×11008 ≈ 45.1M;W_up:45.1M;W_down:45.1M;
  • 单层 FFN 约 135M 参数,32 层合计约 4.3B,占模型非嵌入参数的约三分之二;
  • 每个 token 单独走一遍,序列内各位置并行。

七、学习顺序建议

  1. 先掌握标准两层 FFN 公式和 d→4d→d 的维度流;
  2. 理解 "注意力 1/3、FFN 2/3" 的参数分配;
  3. 再读 SwiGLU 门控结构和 8/3 宽度的由来;
  4. 最后把 MoE 理解为 "FFN 专家化 + 路由",整条线就通了。

【相关 FAQ】

问题 1:大模型里的 FFN 前馈神经网络是什么,和注意力有什么区别?

回答 1:FFN 是 Transformer Block 中注意力之后的两层全连接子层,对单个 token 做升维、激活、降维;注意力负责 token 间信息路由,FFN 负责单 token 加工与知识存储,参数约占大模型的三分之二。

问题 2:为什么说 FFN 占了大模型约三分之二的参数?

回答 2:标准 Block 中注意力四个投影矩阵约 4d²,FFN 两个矩阵在 d_ff=4d 时约 8d²,因此 FFN 约占 2/3,如 GPT-3 的 175B 中 FFN 约 115B、占 66%。

问题 3:SwiGLU 和普通 FFN 有什么不同,哪些大模型在用?

回答 3:SwiGLU 把升维拆成 gate 和 up 两条支路,用 SiLU (gate)⊙up 做门控,三个矩阵替代两个、d_ff 取 8/3d;LLaMA、Qwen、PaLM、Mistral、DeepSeek 都采用 SwiGLU。

问题 4:FFN 和 MoE(混合专家)是什么关系?

回答 4:MoE 就是把单个宽 FFN 换成多个专家 FFN,路由器为每个 token 选 Top-K 专家计算,以稀疏激活降低算力,被路由替换的核心对象正是 FFN 层。

【参考资料】

  • [2026-10-28](SwiGLU:LLaMA/PaLM/Qwen/DeepSeek 采用的门控 FFU)AI Wiki
  • [2026-08-18](The Transformer Block: Norms, Residuals, MLPs & Activations)The LLM Stack Book
  • [2026-07-23](SwiGLU | FFN 的 2/3 参数分配与门控变体)AIWiki.ai
  • [2026-01-22](LLM Transformer 基础理论:FFN 占整体约 66% 参数)Shion Blog
  • [2025-12-19](FeedForward: The Transformer's Other Half Beyond Attention)Joye Blog

AI WikiJoye Blog

【免责声明】

以上为大模型架构科普内容,参数比例与 d_ff 倍数为通用工程口径,不同模型实现(偏置、归一化、宽度取整)存在差异,具体以各模型官方技术报告为准;本文不构成投资建议,据此操作风险自担。