Top-2 Routing 是什么？大模型中的“二选一”专家分配策略
Top-2 Routing 是混合专家模型（MoE）中常用的一种稀疏门控路由策略，它从所有候选专家中选出与当前输入最匹配的两个专家来执行计算，从而在保持模型容量的同时大幅降低推理成本。
一句话解释
Top-2 Routing 是一种在混合专家模型（MoE）中使用的路由策略，它让输入只激活两个最相关的专家网络，而非全部专家，从而在不显著增加计算量的前提下扩大模型参数容量。
为什么会被关注
随着大模型参数规模激增，全连接层计算成本呈指数上升。Top-2 Routing 让模型可以拥有数千个专家，但每次推理只调用其中两个，极大降低了计算和显存开销。
Google 在 Switch Transformer 等工作中验证了 Top-2 相比 Top-1 能带来更好的性能稳定性和负载均衡效果，因此成为 MoE 架构的事实标准，受到学术界和工业界的广泛关注。
核心逻辑
Top-2 Routing 的核心是一个可学习的门控网络（Gating Network）。门控网络为每个专家计算一个匹配分数，然后选出分数最高的两个专家，将输入按加权方式分配给它们。
为了保持负载均衡，通常会引入辅助损失（auxiliary loss）惩罚专家被过度选中或完全闲置的情况。路由策略还涉及专家容量限制，防止某个专家接收过多 token 导致计算超限。
常见场景
在训练万亿参数级稀疏 MoE 语言模型（如 GLam、Switch Transformer、Mixtral 8x7B）时，Top-2 Routing 用于决定每个 token 应该送往哪两个专家。
在推理部署中，Top-2 Routing 配合专家并行（Expert Parallelism），可以将不同专家分配到不同 GPU，仅激活部分专家即可完成生成，显著降低显存和延迟。
容易混淆的点
Top-2 Routing 不等于“只使用两个专家”，而是每个输入只激活两个专家，模型整体参数仍包含所有专家。这与全连接层和采用 Top-1 路由的 MoE 不同。
有些人误以为 Top-2 就是简单地将输入复制给两个专家然后取平均，实际上门控网络会学习动态权重，两个专家的输出是按权重融合的，并非简单平均。
负载均衡损失是 Top-2 Routing 成功的关键，而非可选。没有负载均衡的 MoE 容易导致专家坍塌（所有 token 都涌向同一个专家），丧失稀疏优势。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词MoE（Mixture of Experts，混合专家模型）是一种神经网络架构。其核心思想是将一个大模型拆分成多个“专家”子网络，每个任务只激活并使用其中一小部分专家进行计算。这种方法能以远低于增加参数总量的成本，显著提升模型容量和性能，是实现万亿参数以上超大模型的关键路径之一。
大模型是指通过在海量数据上训练、拥有庞大参数规模的深度学习模型，其核心能力在于理解和生成人类语言及各类内容，是当前生成式AI（如ChatGPT）的技术基石。