WordEmbedding数学原理详解与反向传播推导面试指南

词嵌入（Word Embedding）的核心任务，是将离散的符号——例如“国王”或“王后”这类词语——转化为连续、低维且可学习的实数向量。这一过程并非依赖预设的语法规则，而是模型通过在海量文本语料中自动学习与归纳，最终捕捉到词语之间深层的语义关联。从数学原理上看，它本质上是一次高效的“查表”操作结合矩阵乘法；而在模型训练的反向传播过程中，被直接更新和优化的，正是那个存储所有词向量的嵌入矩阵本身。

从独热编码到稠密向量

假设我们的词汇表规模为V（例如包含10万个词），目标词向量维度为M（例如设定为300维）。那么，Embedding层本质上就是一个尺寸为V × M的可训练矩阵Q，这个矩阵的每一行Q_i，就对应着词汇表中第i个词的初始向量表示。

具体操作时，输入一个词，首先会被转换为一个独热（one-hot）编码向量w ∈ ℝ^1×V——这个向量仅在对应词索引的位置为1，其余位置全为0。随后，通过一个简单的矩阵乘法，我们就得到了该词的词嵌入向量：

embedding = w · Q ∈ ℝ^1×M

由于w只有一个位置是1，这个乘法运算的结果，其实就是直接从矩阵Q中“取出”了对应行的向量。整个过程是纯线性的，不涉及任何非线性激活函数，可以理解为一次高效的向量“查表”操作。

以CBOW模型为例：前向传播如何工作

我们以经典的连续词袋模型（CBOW）为例，它的核心目标是利用上下文词语来预测中心词。例如，给定上下文句子片段[“the”, “cat”, “sat”]，模型需要预测出中间词“on”。

• 首先，每个上下文词w_i被转换为独热向量，并通过查表操作得到其对应的词向量：c_i = w_iQ。
• 接着，将这k个上下文词的向量进行平均或求和，得到一个综合的上下文语义表示：h = (1/k) ∑ c_i ∈ ℝ^1×M。
• 然后，将h送入一个线性层（通常无激活函数）：v = hW ∈ ℝ^1×V。这里的W ∈ ℝ^M×V是输出层的权重矩阵。
• 对输出向量v进行softmax归一化处理，得到词汇表上每个词作为中心词的概率分布：p_j = exp(v_j) / ∑ exp(v_i)。
• 最后，使用真实中心词的独热标签y，通过交叉熵损失函数计算预测误差：L = −y log(p)。

Embedding层的反向传播：梯度如何更新词向量

这里的关键在于理解：Embedding层本身并没有独立的“权重”参数；它的全部可训练参数就是那个矩阵Q。因此，反向传播的梯度并非传递给某个中间层，而是直接用于更新Q中特定的行。

以单个上下文词w_i为例。它贡献了向量c_i到上下文表示h中，并最终影响了损失L。通过链式求导法则，我们可以清晰地追踪梯度是如何回传的：

∂L/∂c_i = (∂L/∂v) · W^T · (1/k)

而我们知道，c_i = w_iQ，且w_i是独热向量（仅在第i位为1）。因此，损失函数L对矩阵Q中第i行的梯度，恰好就等于对c_i的梯度：

∂L/∂Q_i = ∂L/∂c_i

这意味着，在每次参数更新时（例如使用SGD或Adam优化器），第i个词的向量Q_i会直接按照这个梯度方向进行调整：Q_i ← Q_i − η·∂L/∂c_i。在整个训练过程中，多个上下文词各自贡献梯度，但每个词的向量Q_i只会在它自身出现在训练样本的上下文中时被触发和更新。

语义关系从何而来

那么，这种看似简单的数学操作，为何能捕捉到“国王-男人+女人≈王后”这样复杂的语义类比关系呢？其奥秘在于训练数据中词语的共现模式。

模型在反复看到“国王”出现在“男人”、“王后”、“皇室”等词的上下文中，同时“王后”也频繁与“女人”、“国王”、“皇室”等词一同出现。为了最小化预测上下文的误差，优化器会在高维向量空间中不断调整这些词的向量位置。最终，语义相近或具有相关关系的词，其向量在空间中的距离会变得更近，或者呈现出有规律的几何关系（如平移不变性）。

那个著名的向量关系等式——king − man + woman ≈ queen——并非人为设计，而是梯度下降算法在高维语义空间中自然探索并收敛出的一种几何结构。因为这种向量间的加减偏移关系，恰好能最大程度地提升模型对上下文词语的预测准确率。

所以说到底，词向量可以被看作是词语在大规模文本中“共现模式”的一种高度压缩的数学表达。而反向传播，正是驱动这种语义压缩得以实现的、无声却强大的数学引擎，它通过不断调整嵌入矩阵，让离散的符号在高维空间中获得富有意义的连续表示。