Transformer三种注意力机制一文搞懂

《Attention is All You Need》3.2.3 注意力机制的应用 Transformer使用多头注意力机制的三种不同方式如下： - 在“编码器-解码器注意力”层中，查询来自前一层解码器，而记忆键和值则来自编码器的输出。这使得解码器中的每个位置都能关注输入序列中的所有位置。这模仿了序列到序列模型中典型的编码器-解码器注意力机制。 - 编码器包含自注意力层。在自注意力层中，所有的键、值和查询都来自同一个地方，即编码器前一层的输出。编码器中的每个位置都可以关注编码器前一层中的所有位置。 - 同样，解码器中的自注意力层允许解码器中的每个位置关注解码器中包括该位置在内的所有位置。我们需要防止解码器中的信息向左流动，以保持自回归属性。我们通过将softmax输入中对应非法连接的所有值掩盖掉（设为-∞）来实现这一点。 说实话，很多人刚读到这里时可能都有同感：每个字都认识，但组合起来却感觉难以理解，甚至有点“不明觉厉”。今天就来用最直白的语言，真正捋清楚这三种注意力机制到底是什么。下面将从 **Self Attention**、**Cross Attention**、**Causal Attention** 三个方面展开，希望一篇就能让你彻底搞清楚。 **Transformer中的三种注意力机制**

一、Self Attention

**疑问一：图中编码器明明写的是 Multi-Head Attention，怎么就说是 Self Attention？** 要回答这个问题，先得理清三个概念：Scaled Dot-Product Attention、Self Attention、Multi-Head Attention。 **Scaled Dot-Product Attention（缩放点积注意力）**：它的输入包括维度为 dₖ 的查询和键，以及维度为 dᵥ 的值。它的工作方式是：计算查询与所有键的点积，每个结果除以 √dₖ 进行缩放，然后通过 softmax 函数转换成注意力分数。它定义了如何基于 Q、K、V 计算注意力权重的数学公式。 **Self Attention（自注意力）**：当 Q、K、V 都来自同一个序列时，就是 Self Attention。它通过缩放点积注意力计算注意力分数，最终对值向量进行加权求和，得到输入序列中每个位置的加权表示。Self Attention 描述的是对同一个序列计算注意力权重这一机制本身。 **Self Attention（自注意力）** **Multi-Head Attention（多头注意力）**：顾名思义，就是多个注意力头并行运行，每个头独立计算注意力权重和输出，最后将所有头的输出拼接起来得到最终结果。它强调的是一种实操方法：实际操作中不会使用单个维度来执行单一的注意力函数，而是通过 h=8 个头分别计算，然后加权平均。这样做的目的，说白了是为了避免单个计算带来的偏差。 **Multi-Head Attention（多头注意力）** **疑问解答**：Scaled Dot-Product Attention、Self Attention、Multi-Head Attention 其实讲的是同一件事，只是从不同维度来解答“如何获取同一个序列中每个位置的注意力权重”。图上标注 Multi-Head Attention，强调的是需要多个头来计算注意力权重。所以，Transformer 中第一个注意力机制更严谨的描述应该是：编码器输入序列通过 **Multi-Head Self Attention（多头自注意力）** 计算注意力权重。

二、Cross Attention

**疑问二：图中编码器-解码器交叉部分明明写的也是 Multi-Head Attention，怎么就说是 Cross Attention？** 要回答这个，先来看看 **Cross Attention（交叉注意力）** 的核心定义：它的输入来自两个不同的序列，一个序列用作查询（Q），另一个序列提供键（K）和值（V），目的是实现跨序列的交互。 **Cross Attention（交叉注意力）** **Cross Attention 与 Self Attention 的区别**非常清晰： - **输入来源**：Cross Attention 来自两个不同的序列（一个编码器、一个解码器）；Self Attention 来自编码器的同一序列。 - **实现目标**：Cross Attention 是解码器序列用作 Q，编码器序列提供 K 和 V，实现两个不同序列之间的注意力转移；而 Self Attention 是 Q、K、V 均来自编码器同一序列，只做序列内部的注意力计算。 **疑问解答**：Cross Attention 与 Multi-Head Attention 实际上说的也是同一件事，从不同维度解答“两个不同序列之间如何进行注意力转移”。图上标注 Multi-Head Attention 强调的是需要使用多个头来进行注意力转移计算。所以，Transformer 中第二个注意力机制更严谨的描述应该是：编码器-解码器两个序列通过 **Multi-Head Cross Attention（多头交叉注意力）** 进行注意力转移。

三、Causal Attention

**疑问三：图中解码器明明写的是 Masked Multi-Head Attention，怎么就说是 Causal Attention？** 要理解这个问题，需要先搞懂几个相关概念。 **Predict The Next Word（预测下一个词）**：模型通常需要基于已经生成的词来预测下一个词。这种特性要求模型在预测时不能“看到”未来的信息，否则预测就会受到干扰。 **预测下一个词** **Masked Language Model（掩码语言模型）**：通过遮盖一些词语来让模型学习预测被遮盖的词语，从而帮助模型学习语言规律。 **掩码语言模型** **Autoregressive（自回归）**：在生成序列的某个词时，解码器会考虑已经生成的所有词，包括当前正在生成的这个词本身。为了保持自回归属性——即模型只能基于已经生成的信息进行预测——需要防止解码器中的信息向左流动。换句话说，当解码器在生成第 t 个词时，它不应该看到未来（即第 t+1、t+2 等位置）的信息。 **自回归** **Causal Attention（因果注意力）**：正是为了确保模型在生成序列时只依赖于之前的输入信息，而不会受到未来信息的影响而设计的机制。它通过掩盖（mask）未来的位置来实现这一点，使模型在预测某个位置的输出时，只能看到该位置及其之前的输入。 **Causal Attention（因果注意力）** **疑问解答**：Causal Attention 与 Mask Multi-Head Attention 说的也是同一件事，区别在于视角不同。Mask Multi-Head Attention 强调使用了多个独立的注意力头，每个头可以学习不同的注意力权重，从而增强模型的表示能力；而 Causal Attention 则强调了模型在预测时只能依赖于已经生成的信息，不能看到未来的信息。所以，Transformer 中第三个注意力机制更严谨的描述应该是：解码器的单个序列通过 **Multi-Head Causal Self Attention（多头因果自注意力）** 进行注意力计算。