WordEmbedding词嵌入是什么？NLP新手必看入门教程

词嵌入是什么？一文带你深入理解词嵌入原理与应用

简单来说，词嵌入（Word Embedding）就是将自然语言中的词语转化为计算机能够处理的一串数字。但这并非简单的编码，而是一组具有语义含义的实数向量——例如 [-0.82, 1.34, 0.07, …]——来表征一个词。这组向量背后蕴含着深层语义关系：含义越相近的词语，它们在向量空间中的距离就越近。这相当于为每个词绘制了一张“语义地图”，同类概念会自动聚集在一起，成为自然语言处理任务的基础。

为什么不能直接用文字表示词语？

计算机只能识别数字，无法直接处理“苹果”、“香蕉”这类文本字符串。早期自然语言处理领域采用独热编码（One-hot Encoding），例如词汇表中第5个词是“猫”，就将其表示为 [0,0,0,0,1,0,…]。这种方法存在几个明显缺陷：

• 向量极度稀疏，维度随着词汇量增加而爆炸（1万个词就需要1万维向量）
• 所有词之间的余弦距离完全相同，完全无法体现“猫”与“狗”的相似性远高于“猫”与“汽车”
• 模型无法学习任何语义规律，只能进行简单的统计匹配

词向量如何学习语义？词嵌入的工作原理详解

词嵌入的核心机制，是让模型在大规模语料中“观察”某个词语周围经常出现的上下文，然后反复调整每个词的向量表示。上下文越相似的词，最终得到的向量也越接近。这种基于分布假设的学习方式带来了几个直观特性：

• 语义相近的词，向量余弦相似度高，例如“医生”和“护士”、“苹果”和“香蕉”
• 语法角色一致的词，向量方向趋向一致，比如“跑”“跳”“游”都集中在动作类区域
• 甚至可以实现类比推理，经典案例是：“国王” − “男人” + “女人” ≈ “王后”，说明词向量蕴含了语义关系和逻辑结构

常见的词嵌入模型有哪些？Word2Vec、GloVe、FastText、ELMo 全面对比

在自然语言处理领域，词嵌入模型就像不同的烹饪流派，手法各异但目标一致：生成维度较低（通常50-300维）、稠密、高质量的词语向量。主流的词嵌入方法包括：

• Word2Vec：Google在2013年推出的经典模型，包含CBOW（通过上下文预测中心词）和Skip-gram（通过中心词预测上下文）两种训练方式。优点是训练速度快、效果稳定，适合大多数通用场景。
• GloVe：斯坦福团队开发的一种方法。首先统计全局词语共现矩阵，再利用矩阵分解技术压缩信息，更强调词对在整个语料中的统计共现关系。
• FastText：Facebook提出的改进方案，将每个词拆分为字符级别的n-gram（例如“apple”拆成“app”“ppl”“ple”）。这样即使遇到未登录词或拼写变体，也能通过子词组合得到有效向量。
• ELMo / BERT 等上下文感知模型：这是更前沿的思路。它们不再为每个词分配固定向量，而是根据所在句子实时动态生成。例如“苹果”在“吃苹果”和“苹果公司”两个语境中，向量表示完全不同，能捕捉一词多义。

词嵌入实战注意事项：维度选择、预训练微调、分词等

对于刚接触词嵌入的开发者，有几个常见陷阱需要留意：

• 不要盲目使用预训练向量。如果处理医疗、法律等垂直领域文本，直接用通用领域预训练的词向量效果会不理想。建议使用本领域语料进行微调（Fine-tune）或从头重新训练。
• 向量维度并非越高越好。通常情况下100-200维即可平衡效果与效率，超过300维带来的收益有限，而计算负担明显增加。
• 是否过滤停用词？取决于具体任务。情感分析中，“了”“啊”等语气词可能携带情感信息；而关键词提取场景下，则建议过滤掉高频无意义的停用词。
• 中文必须预先分词。以“人工智能”为例，如果不使用分词工具（如 jieba）正确切分，将整个词作为输入，模型就无法学习“人工”和“智能”各自的语义成分，相当于丢失了关键的子词信息。