从SwiGLU到MoE：FFN是大模型算力核心

第六章 从 SwiGLU 到 MoE —— FFN 才是大模型真正的算力核心

本章导读

这一节我们继续深入探讨 FFN——该模块一直在持续演进，每一次升级都深刻影响着整个模型的计算效率和推理能力。建议结合上一章内容一起阅读，理解会更连贯。

前文已经建立了基础认知：Attention 负责“发现关联”，FFN 负责“执行计算与语义加工”。但在当代主流大模型（如 LLaMA / Qwen / DeepSeek / GPT 系列）中，有一个不可忽略的事实：

• Attention 其实并非算力重心；
• FFN（特别是 SwiGLU 结构）才是名副其实的计算主力；
• 而 MoE 则是 FFN 在系统层面的终极进化形态。

本章将回答三个核心问题：为什么 FFN 占据了绝大部分计算资源？SwiGLU 究竟解决了哪些工程痛点？MoE 为何能成为 FFN 的最终演化方向？

6.1 Attention 不是算力核心

许多初学者（包括我自己最初）会直觉认为：Attention 机制那么复杂，肯定消耗了大部分计算量。但实际上，在近年来的 Transformer 架构中，算力分布已经完全颠倒过来。

为什么会这样？上一章我们简要提及——Attention 主要负责“信息路由”，而 FFN 才承担“高维非线性计算”。用熟悉的系统作类比：Attention 好比邮件分拣员，将信件分配到不同部门；FFN 则是各部门的工程师，真正处理每封信件的实质内容。分拣工作固然必要，但真正的计算压力落在工程师手中。

6.2 从 FFN 到 SwiGLU：为什么要改结构？

先回顾经典 FFN 的结构：

x → Linear(升维) → GELU(激活函数) → Linear(降维) → y

这个看似简单的两三层结构存在哪些不足？

问题1：信息属于“无筛选加工”

所有输入被一视同仁地处理，使用同一个非线性函数，缺乏“选择机制”。就像用一口大锅炖菜，无论食材优劣，都按相同配方烹煮。

问题2：表达效率不足

模型若想表达复杂函数，只能通过扩大维度、增加层数来弥补，导致参数量和计算量急剧增长。

问题3：冗余计算严重

大量信息实际上是“噪音”或“低价值信息”，但依然需要被完整计算一遍。好比每个学生都必须上同样的课程，而部分内容对某些学生毫无意义。

6.3 SwiGLU：第一次“结构性升级”

SwiGLU 的本质变化是：从“单一处理”转变为“门控选择”。它引入了一个“门控分支”，让模型学会判断哪些信息值得重点加工。

SwiGLU 结构：

x
 ├── W1 → 内容分支
 └── W2 → 门控分支 → SiLU
           ↓
       逐元素相乘
           ↓
        W3 输出

看起来有些复杂？只需记住一句核心思想：让模型自主决定“哪些内容值得计算”。

用一个简单的类比对比新旧 FFN：

• 旧 FFN：只有一个老师，对全班所有学生讲授相同内容，不分轻重。
• SwiGLU：老师负责讲授内容，助教负责判断“哪些重点该深入讲解”——助教正是那个门控。

这个变化带来一个关键结果：模型开始具备“选择性注意力”——不再是机械的全量计算，而是主动控制信息流向。

6.4 SwiGLU 带来的三个关键变化

① 表达能力提升

同等参数量下，SwiGLU 的表达能力显著优于旧 FFN。门控机制使模型能够拟合更复杂的函数映射关系。

② 训练更稳定

梯度更加平滑，信息流更易控制。尤其在深层网络中，SwiGLU 能有效缓解梯度消失与梯度爆炸问题。

③ 更匹配语言稀疏性

真实语言本身并非每个 token 都同等重要，信息分布极不均匀。SwiGLU 恰好适配这种特性——对重要信息分配更多计算量，对无关信息则“关闭大门”。

6.5 升级对FFN的理解

至此，我们需要将对 FFN 的认知从“变换层”升级为“选择系统”。FFN 不再仅仅是一个非线性变换器，而是一个带有过滤器的信息加工器。

6.6 MoE（混合专家模型）：FFN 的终极形态

理解了以上内容，现在进入真正的工业级结构：MoE（Mixture of Experts）。一句话概括：将一个大 FFN 拆分为多个小 FFN（专家），再通过路由器分配任务。

大致结构：

输入
   ↓
Router（路由器）
 /       |       \
Expert1 Expert2 Expert3 ...
 |       |       |
   \       |       /
   输出融合

6.7 MoE 的核心思想

继续通过类比来看与传统 FFN 的区别：

• 传统 FFN：什么都要学——语法、代码、数学、知识，全部塞进同一个网络，好比一位全能老师教所有科目。
• MoE：划分为多个专家——Expert A 专攻语言，Expert B 专攻代码，Expert C 专攻数学，Expert D 专攻推理。每个专家只做自己最擅长的事。

Router（路由）做什么？

Router 会判断当前输入属于哪类问题，然后只激活最相关的几个专家。例如，输入是“用 Ja va 实现 Redis 缓存”，Router 会选择 Java Expert 和 Redis Expert，而不会唤醒数学或语言专家。

6.8 MoE 为什么这么重要？

因为它解决了一个核心矛盾：模型参数越大，能力越强，但推理成本也越高。传统 Transformer 必须全量计算所有参数，而 MoE 可以做到：总参数可以非常庞大，但每次只激活部分参数。

因此，MoE 本质上就是“用参数换取能力，用路由节省算力”。400B 参数的 MoE 模型，推理时仅激活 40B~80B，计算量与 70B 的密集模型相当，但能力却远超后者。

6.9 SwiGLU vs MoE：关系是什么？

很多朋友容易将两者混淆。直接定义：

• SwiGLU：是 FFN 内部结构的升级——引入门控，让单个神经元学会选择重要信息。
• MoE：是 FFN 宏观结构的升级——将单个 FFN 扩展为多个专家，并用路由器做任务分配。

本质关系：MoE = SwiGLU 的“系统级扩展”。SwiGLU 在微观层面做选择性计算，MoE 在宏观层面做选择性激活。两者可以组合使用，现代 MoE 的专家内部通常就是 SwiGLU 结构。

6.10 记住非常重要的工业结论

现代大模型的基本结构是：

Attention
    ↓
SwiGLU FFN 或 MoE FFN
    ↓
Attention
    ↓
SwiGLU FFN 或 MoE FFN

并且：FFN 占据参数 60%~80%，Attention 仅占 20%~40%。因此工业界的共识是：优化 FFN 就等于优化大模型的核心效率。

6.11 为什么 FFN 才是“知识载体”？

这也是一个关键认知：

• Attention：不存储知识，只做“信息关联”。它告诉你哪些位置需要关注，但不保留任何语义内容。
• FFN / MoE：存储语义模式、统计知识、任务映射。模型学到的“知识”，本质上压缩在 FFN 的权重里。

举个例子：你问“巴黎是哪个国家的首都？” Attention 负责将“巴黎”与“首都”关联起来，但真正给出答案“法国”的，是 FFN 中存储的知识映射。因此，大模型的知识主要压缩在 FFN 权重中——这才是理解模型能力的核心。

6.12 总结本章

如果只记一句话：FFN 才是大模型真正的算力核心和知识载体。

完成了三个认知升级：

1. FFN 从“变换层”升级为“选择系统” —— SwiGLU 引入门控机制，让模型学会选择性加工。
2. FFN 从“单体结构”升级为“专家系统” —— MoE 引入路由机制，让模型用超大参数池但只激活部分。
3. Transformer 的真实结构认知 —— Attention 是轻量的路由器，FFN/MoE 才是计算核心和知识仓库。

下一章预告

下一章我们将引入一个奇妙的问题：为什么“预测下一个 Token”可以产生智能？我们会把前面所有内容统一归纳起来解释：为什么简单目标能涌现复杂能力；为什么模型会“突然变聪明”；为什么代码、数学、逻辑都能统一建模；为什么 LLM 本质上是“通用函数逼近器”。