词嵌入：让AI理解词语的“数字身份证”

一句话解释

词嵌入是把词语转换成一组数字（向量）的技术，让计算机能通过计算向量之间的距离，理解词语之间的语义关系和相似度。

为什么会被关注

随着大模型和语义搜索的普及，词嵌入作为语言理解的基石技术备受关注。它让AI从“机械匹配关键词”升级到“理解真实意图”，直接提升了搜索推荐、智能客服等场景的体验。传统独热编码无法表达语义，而词嵌入通过稠密向量解决了这一问题，成为现代NLP的核心支柱。

核心逻辑

其核心是“分布式假设”：上下文相似的词，语义也相似。通过训练模型（如Word2Vec）预测词语的上下文，模型会自动学习将语义相近的词（如“猫”和“狗”）映射到向量空间中相近的位置。向量间的余弦相似度或欧氏距离直接反映了词语的语义关联强度。

常见场景

搜索引擎利用它提升查询与文档的语义匹配，即使不包含相同关键词也能召回相关结果。

推荐系统通过计算用户兴趣向量和物品向量的相似度，实现“看了又看”的深度推荐。

在大模型的输入嵌入层，词嵌入是文本进入模型的第一道转换，为后续的注意力计算提供基础表示。

容易混淆的点

词嵌入与独热编码不同：独热编码是高维稀疏的（维度等于词表大小），仅表示身份，无法计算语义；词嵌入是低维稠密的，蕴含语义。

词嵌入与词向量常被视为同义词，但严格来说，词嵌入指映射的过程和方法，词向量是映射后的结果。

静态词嵌入（如Word2Vec）与上下文词嵌入（如BERT）有本质区别：前者每个词只有一个固定向量，后者根据句子上下文动态生成向量，能解决一词多义问题。