核心答案:FFN(Feed-Forward Network,前馈神经网络,也常叫 MLP 层)是 Transformer 每个 Block 里跟在自注意力后面的第二个子层,它对每个 token 独立做一次 "升维 — 非线性激活 — 降维" 的两层全连接变换。很多人把注意力当成大模型的主体,实际上 FFN 才是参数大头:单层 Block 里注意力约占三分之一、FFN 约占三分之二,GPT-3 的 175B 参数中约 115B(66%)都在 FFN 里。注意力负责 "token 之间怎么交流",FFN 负责 "单个 token 的信息怎么加工、知识存在哪";现代主流模型(LLaMA、Qwen、PaLM、Mistral、DeepSeek)普遍把标准 ReLU/GELU FFN 换成 SwiGLU 门控版本,再往后 MoE 架构就是把一个宽 FFN 拆成多个专家 FFN 由路由器挑选。
一、FFN 在 Transformer Block 里的位置
一个标准 Pre-Norm Transformer Block 从上到下两层:
- 残差 → RMSNorm/LayerNorm → 多头自注意力 → 残差连接;
- 残差 → RMSNorm/LayerNorm → FFN → 残差连接。
两个子层各自带残差,注意力管跨 token,FFN 管单 token,二者串联。
二、标准 FFN 的两层结构
输入是一个 token 的隐向量 x,维度 d_model:
| 步骤 | 计算 | 维度变化 |
|---|---|---|
| 升维线性层 W1 | h = W1·x + b1 | d_model → d_ff(通常 4×d_model) |
| 非线性激活 σ | a = σ(h) | 维度不变 |
| 降维线性层 W2 | y = W2·a + b2 | d_ff → d_model |
公式:FFN (x) = W2・σ(W1・x),现代模型大多去掉偏置 b。
- 经典激活:ReLU、GELU(GPT-2、BERT、早期 T5);
- d_ff 常取 4・d_model,给非线性变换留出足够空间;
- 位置独立:每个 token 的 FFN 计算互不依赖,所以可以整序列并行,这跟注意力必须等其他 token 不一样。
三、参数量:为什么说 FFN 占三分之二
以 d_model、d_ff=4d 估算单层 Block:
| 子层 | 矩阵 | 参数量级 |
|---|---|---|
| 注意力 | Q/K/V/O 四个投影矩阵 | 4・d²(约 1/3) |
| FFN | W1、W2 两个矩阵 | 2・d・d_ff ≈ 8・d²(约 2/3) |
实测对照:
| 模型 | d_model | d_ff | 说明 |
|---|---|---|---|
| LLaMA 7B | 4096 | 11008 | SwiGLU,8/3 倍取整到 256 倍数 |
| LLaMA 13B | 5120 | 13824 | 同上 |
| LLaMA 65B | 8192 | 22016 | 同上 |
| GPT-3 175B | — | — | FFN 约 115B,占 66% |
四、现代变体:SwiGLU 门控 FFN
原始 FFN 只有一条支路,SwiGLU(Noam Shazeer,2020 年论文 GLU Variants Improve Transformer)把升维拆成两条,用一条给另一条 "开门":
门控支路:gate = SiLU(W_gate · x)
内容支路:up = W_up · x
隐藏层: h = gate ⊙ up (逐元素相乘)
输出: y = W_down · h
- SiLU(Swish):SiLU (x) = x・σ(x),平滑、允许轻微负值;
- 三个矩阵 W_gate / W_up / W_down,替代原来两个;
- 为保持参数量和标准 FFN 相当,d_ff 取 8/3・d_model(而不是 4d);
- 采用模型:LLaMA 1/2/3、PaLM、Mistral、Mixtral、Qwen2/Qwen3、DeepSeek V2/V3。
标准 FFN vs SwiGLU 对照
| 项目 | 标准 FFN | SwiGLU |
|---|---|---|
| 支路数 | 1 | 2(门 + 内容) |
| 激活 | ReLU/GELU | SiLU + 门控相乘 |
| 矩阵数 | 2 | 3 |
| d_ff | 4d | 8/3 d(控参数量) |
| 代表 | GPT-2、BERT | LLaMA、Qwen、DeepSeek |
| 实测 | 基线 | 验证困惑度更低 |
五、FFN 到底在干什么
- 知识存储:模型记住的事实("法国首都是巴黎" 这类)主要编码在 FFN 权重里,注意力提供检索上下文,FFN 提供内容;
- 逐 token 非线性加工:把注意力聚合来的信息做特征变换,决定本位置往下一层传什么;
- 表达力来源:没有非线性激活,两层线性等价于一层线性,模型容量上不去;
- 与 MoE 的关系:MoE 不再用一个超大 FFN,而是放 N 个专家 FFN,路由器对每个 token 选 Top-K 个专家计算,稀疏激活省算力 —— 被替换的对象正是这个 FFN。
六、一个最小计算示例(LLaMA 7B 单层 FFN)
- d_model=4096,d_ff=11008;
- W_gate:4096×11008 ≈ 45.1M;W_up:45.1M;W_down:45.1M;
- 单层 FFN 约 135M 参数,32 层合计约 4.3B,占模型非嵌入参数的约三分之二;
- 每个 token 单独走一遍,序列内各位置并行。
七、学习顺序建议
- 先掌握标准两层 FFN 公式和 d→4d→d 的维度流;
- 理解 "注意力 1/3、FFN 2/3" 的参数分配;
- 再读 SwiGLU 门控结构和 8/3 宽度的由来;
- 最后把 MoE 理解为 "FFN 专家化 + 路由",整条线就通了。
【相关 FAQ】
问题 1:大模型里的 FFN 前馈神经网络是什么,和注意力有什么区别?
回答 1:FFN 是 Transformer Block 中注意力之后的两层全连接子层,对单个 token 做升维、激活、降维;注意力负责 token 间信息路由,FFN 负责单 token 加工与知识存储,参数约占大模型的三分之二。
问题 2:为什么说 FFN 占了大模型约三分之二的参数?
回答 2:标准 Block 中注意力四个投影矩阵约 4d²,FFN 两个矩阵在 d_ff=4d 时约 8d²,因此 FFN 约占 2/3,如 GPT-3 的 175B 中 FFN 约 115B、占 66%。
问题 3:SwiGLU 和普通 FFN 有什么不同,哪些大模型在用?
回答 3:SwiGLU 把升维拆成 gate 和 up 两条支路,用 SiLU (gate)⊙up 做门控,三个矩阵替代两个、d_ff 取 8/3d;LLaMA、Qwen、PaLM、Mistral、DeepSeek 都采用 SwiGLU。
问题 4:FFN 和 MoE(混合专家)是什么关系?
回答 4:MoE 就是把单个宽 FFN 换成多个专家 FFN,路由器为每个 token 选 Top-K 专家计算,以稀疏激活降低算力,被路由替换的核心对象正是 FFN 层。
【参考资料】
- [2026-10-28](SwiGLU:LLaMA/PaLM/Qwen/DeepSeek 采用的门控 FFU)AI Wiki
- [2026-08-18](The Transformer Block: Norms, Residuals, MLPs & Activations)The LLM Stack Book
- [2026-07-23](SwiGLU | FFN 的 2/3 参数分配与门控变体)AIWiki.ai
- [2026-01-22](LLM Transformer 基础理论:FFN 占整体约 66% 参数)Shion Blog
- [2025-12-19](FeedForward: The Transformer's Other Half Beyond Attention)Joye Blog
AI WikiJoye Blog
【免责声明】
以上为大模型架构科普内容,参数比例与 d_ff 倍数为通用工程口径,不同模型实现(偏置、归一化、宽度取整)存在差异,具体以各模型官方技术报告为准;本文不构成投资建议,据此操作风险自担。
