大模型基础面FFN 前馈神经网络是什么,为什么占了模型三分之二参数

核心答案:FFN(Feed-Forward Network,前馈神经网络,也常叫 MLP 层)是 Transformer 每个 Block 里跟在自注意力后面的第二个子层