基于Transformer的编码器-解码器模型的工作原理详解

本文是 Transformer 编码器-解码器模型系列教程的第二部分，重点讲解该模型的核心架构与运行机制。在阅读之前，建议先回看第一部分《背景》，以了解基于 RNN 的编码器-解码器模型的发展历程，并初步掌握自注意力（self-attention）的基本概念。接下来，我们将深入解析编码器-解码器的具体实现方式。

编码器-解码器概述

2017 年，Vaswani 等人提出了 Transformer 架构，由此催生了基于 Transformer 的编码器-解码器模型。

与基于 RNN 的编码器-解码器模型类似，基于 Transformer 的编码器-解码器模型同样由一个编码器和一个解码器构成，且其编码器和解码器均由 残差注意力模块（residual attention blocks） 堆叠而成。基于 Transformer 的编码器-解码器模型的核心创新在于：残差注意力模块无需依赖循环结构，即可处理长度可变的输入序列。摆脱循环依赖使得基于 Transformer 的编码器-解码器能够实现高度并行化，在现代硬件上的计算效率比基于 RNN 的编码器-解码器模型高出数个数量级。

回顾一下，要解决 序列到序列（sequence-to-sequence） 问题，我们需要找到从输入序列到可变长度输出序列的映射关系。接下来，我们看看如何利用基于 Transformer 的编码器-解码器模型来建立这种映射。

与基于 RNN 的编码器-解码器模型类似，基于 Transformer 的编码器-解码器模型定义了在给定输入序列条件下目标序列的条件分布：

• 编码器将输入序列编码为隐含状态序列（hidden state sequence）
• 解码器负责建模在给定隐含状态序列的条件下目标向量序列的概率分布

根据贝叶斯法则，该序列分布可以分解为每个目标向量在给定隐含状态及其所有前驱目标向量时的条件概率之积。因此，在生成过程中，解码器将隐含状态序列及其所有前驱目标向量映射为 logit 向量，随后通过 softmax 运算得到条件分布。这一流程与基于 RNN 的解码器相同。然而，与基于 RNN 的解码器不同的是，目标向量的分布是显式（或直接）地以其所有前驱目标向量为条件的。此处第 0 个目标向量仍表示为向量。借助条件分布，我们可以实现 自回归（autoregressive） 生成输出。

可视化自回归生成过程

我们通过可视化方式，完整展示使用基于 Transformer 的编码器-解码器模型自回归生成序列的过程。

上图中，绿色部分代表基于 Transformer 的编码器，红色部分代表基于 Transformer 的解码器。示例将英语句子 "I want to buy a car" 翻译成德语句子 "Ich will ein Auto kaufen"。

• 首先，编码器将完整的输入序列 = "I want to buy a car"（由浅绿色向量表示）处理为上下文相关的编码序列。这里“上下文相关”的含义是，例如，“buy”的编码不仅取决于输入词“buy”，还与所有其他词“I”、“want”、“to”、“a”、“car”及“EOS”有关，这些词构成了该词的 上下文。
• 接着，输入编码与 BOS 向量（即）被一同送入解码器。解码器根据输入和变换得到第一个 logit（图中以深红色显示），从而获得第一个目标向量的条件分布。
• 然后，从该分布中采样出第一个目标向量 = （由灰色箭头表示）。得到第一个输出后，我们将其继续输入解码器。此时，解码器以 = "BOS" 和 = "Ich" 为条件，定义第二个目标向量的条件分布。
• 再次采样，生成目标向量 = "will"。重复此自回归过程，直到第 6 步从条件分布中采样到 EOS 为止。

重要提示： 仅在第一次前向传播时，编码器将输入映射为编码。从第二次前向传播开始，解码器可以直接复用之前计算得到的编码。为清晰起见，下图展示了上述示例中第一次和第二次前向传播所需执行的操作。

可以看出，仅在步骤时，才需要将 "I want to buy a car EOS" 编码为。从开始，解码器直接复用已生成的编码即可。

使用 Transformers 库实际操作

在 transformers 库中，这一自回归生成过程在调用 .generate() 方法时自动完成。我们用一个翻译模型来实际体验一下。

from transformers import MarianMTModel, MarianTokenizer

tokenizer = MarianTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-de")
model = MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-en-de")

# create ids of encoded input vectors
input_ids = tokenizer("I want to buy a car", return_tensors="pt").input_ids

# translate example
output_ids = model.generate(input_ids)[0]

# decode and print
print(tokenizer.decode(output_ids))

输出：

Ich will ein Auto kaufen

.generate() 接口执行了一系列操作。首先，它将 input_ids 传递给编码器。然后，它将一个预定义标记（在 MarianMTModel 中为 ）与已编码的 input_ids 一起送入解码器。接着，它使用 波束搜索（beam search） 解码机制，根据最新解码器输出的概率分布，自回归地采样下一个输出词。关于波束搜索解码的更多细节，建议阅读这篇博文。

我们在附录中提供了一个代码片段，演示如何“从头开始”实现一个简单的生成方法。如果你想全面了解自回归生成的幕后原理，强烈建议阅读附录。

总结

• 基于 Transformer 的编码器实现了从输入序列到上下文相关编码序列的映射。
• 基于 Transformer 的解码器定义了条件分布。
• 在合适的解码机制下，可以自回归地从该分布中采样出输出序列。

常见问题

问：为什么基于 Transformer 的编码器-解码器比基于 RNN 的模型效率更高？

答： 核心原因在于 Transformer 采用自注意力机制替代循环结构，使得模型能够高度并行地处理输入序列，而 RNN 必须按时间步顺序逐个计算。在 GPU/TPU 上，并行化能够大幅提升计算效率，尤其当序列较长时优势更为明显。

问：.generate() 方法中的波束搜索参数如何设置？

答： 默认参数可以从模型配置文件中获取。例如，“Helsinki-NLP/opus-mt-en-de” 的解码参数默认使用 num_beams=6 的波束搜索。你也可以在调用 .generate() 时自定义参数，比如 model.generate(input_ids, num_beams=4)。

本文仅涵盖系列教程的第二部分。后续部分将深入解析编码器和解码器的内部机制，包括自注意力层和交叉注意力层的具体工作原理，敬请期待。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：基于Transformer的编码器-解码器模型的工作原理详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题