自然语言处理入门：BERT模型前世今生深度解析

引言

静态词向量word2vec的理论与实战，我们此前已做过详细拆解。不过，它存在一个显著局限：由于词表示是静态的，无法处理一词多义现象，每个词只有唯一一个固定向量，这在实际应用中显得捉襟见肘。今天我们要探讨的BERT，可以说给NLP领域带来了一场革命——它是一个动态词向量语言模型，能根据上下文灵活调整语义表示。从word2vec到GloVe，再到ELMo、GPT，最后到BERT，这条演进路线恰恰是自然语言处理技术发展的缩影。而BERT的横空出世，直接刷新了NLP领域11项基本任务的最佳成绩，成为算法工程师们最青睐的预训练模型之一。接下来，我们沿着这条时间线，聊聊BERT的前世今生，感受它在自然语言处理中的独特魅力。

1 预训练的演化史

在NLP中，词向量预训练技术的演化是一条清晰的主线：从最初的静态词向量word2vec，到动态预训练词向量ELMo和GPT，再到今天的BERT。每一步都踩在了技术迭代的关键节点上。BERT的问世，让整个领域为之一振——它在11项基准任务上同时刷新了记录，这种全面突破并非轻易能够实现。

论文参考：https://arxiv.org/pdf/1810.04805.pdf

1.1 onehot编码

one-hot编码，也就是独热编码。此前我们对其原理和实战做过详细拆解：每个词用一个高维稀疏向量表示，只有对应位置为1，其余全为0。这种离散表示的缺陷很明显——词与词之间无法衡量相似性，更不用说捕捉上下文语义了。

【NLP修炼系列之词向量（一）】详解one-hot编码&实战

1.2 word2vec词向量

word2vec是一种静态的词向量表示，最大的问题在于“一词多义”无法解决——无论上下文如何变化，同一个词始终只有一个固定向量。之前的文章详细讲解过它的原理与实战，想复习的朋友可以回顾一下。

【NLP修炼系列之词向量（二）】详解Word2Vec原理篇

1.3 ELMO预训练模型

为了解决word2vec的一词多义问题，2018年NAACL上有一篇重磅论文《Deep contextualized word representations》，提出了ELMo预训练语言模型。它的核心思路是：用两层BiLSTM来学习文本的深层语义表示，每个单词最终输出三个向量（词向量、句法特征向量、语义特征向量），下游任务可以通过加权融合来表征文本。这样一来，同一个词在不同上下文中就能得到不同的表示，一词多义的难题得到了有效缓解。

ELMO模型结构：

1.4 GPT预训练模型

GPT的全称是“Generative Pre-Training”，它是一个生成式预训练模型。论文《Improving Language Understanding by Generative Pre-Training》提出了这一架构。

参考论文：https://arxiv.org/pdf/1802.05365.pdf

GPT模型结构图：

GPT的核心思想是两阶段训练：第一阶段用语言模型做无监督预训练，第二阶段通过微调（Fine-tuning）来解决下游任务（监督学习）。它和ELMo一样都是两阶段，但关键区别在于特征提取器——GPT采用了Transformer而非RNN，特征提取能力更强。不过GPT属于自回归模型，是单向的Transformer结构，只根据上文来预测下文，因此本质上是一个生成式模型。

图（左）是文章中使用的Transformer架构和训练目标。（右）是用于微调不同任务的输入转换方式——将所有结构化输入转换为令牌序列，由预训练模型处理，之后接线性+softmax层。

1.4 Bert预训练模型

BERT与ELMo、GPT之间有着千丝万缕的联系。先放一张结构图，后面再详细展开分析。

总结一下这几个模型的演进关系：

• one-hot编码是离散的，无法衡量词之间的相似度。
• word2vec是静态的，最大的硬伤就是一词多义。
• ELMO、BERT、GPT都是动态的。ELMo用了三层embedding组合（词向量+句法特征+语义特征），特征提取器是LSTM，双向上下文。如果把ELMo的LSTM换成Transformer，就变成了BERT。
• GPT的特征提取器是Transformer，但是单向的，只利用上文。如果GPT也改成双向上下文，同样会变成BERT。

所以说，BERT是集大成者：动态词向量、强大的Transformer特征提取器、双向上下文语义表示——这些优点它全部具备。

2 Bert概述

BERT的全称是“Bidirectional Encoder Representations from Transformers”，是一种预训练语言模型（PLM）。2018年，Google团队在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中提出了这一模型。这篇论文一经发布，便轰动整个NLP圈，标志着自然语言处理进入了一个全新阶段。

和ELMo、GPT一样，BERT也采用两阶段任务：预训练+微调。

• 预训练阶段：使用大量无标签数据训练模型，学习通用的语言表示。
• 微调阶段：用预训练好的参数初始化模型，然后针对具体下游任务（比如文本分类、序列标注等）用有标签数据进一步训练。不同下游任务可以训练出不同模型，但每次都使用同一个预训练模型进行初始化。

2.1 BERT的结构

BERT基于Transformer实现，具体使用了Transformer的Encoder部分。完整架构如下：

论文给出了两种主要尺寸：bert-base和bert-large。base版有110M参数，large版有340M参数。参数量达到上亿级别，这是BERT能够学习深层语义的基础。

BERT_BASE: L = 12, H = 768, A = 12, Total Parameters = 110M.

BERT_LARGE: L = 24, H = 1024, A = 16, Total Parameters = 340M.

其中L表示Transformer blocks的层数，H是隐藏层大小，A是self-attention head的数量。

2.2 Bert的输入输出形式

BERT的Embedding层由三个子层求和得到：Token Embeddings（词向量）、Segment Embeddings（句子向量）、Position Embeddings（位置向量）。

具体来说：

• Token Embeddings字向量：用于表示不同的词以及特殊标记。第一个单词是[CLS]，主要用于分类任务。
• Segment Embeddings文本向量：用于区分两个句子，表示当前词属于哪个句子。在双句分类任务中尤其有用。
• Position Embeddings位置向量：因为文本中不同位置的词携带的语义信息不同，所以为每个位置附加一个可训练的向量。该向量是随机初始化、通过训练得到的。

Bert输出：主要是每个字对应的、融合了全文语义信息的向量表示。这些向量可以直接用于下游任务。

3 Bert的预训练方式

预训练的目标是使用大量无标注文本训练语言模型，得到一组通用参数。然后用这些参数初始化模型，再针对具体任务进行微调。预训练主要分为两大分支：自编码语言模型和自回归语言模型。

• 自回归语言模型：根据上文预测下一个词，或者根据下文预测上一个词。GPT是典型代表。
• 自编码语言模型：对输入句子随机Mask掉一些单词，然后根据上下文预测这些被Mask掉的单词。BERT就是典型的自编码语言模型。

3.1 MLM掩码语言模型（Mask Language Model）

BERT采用自编码方式，MLM本质上就是完形填空。随机掩盖掉每个句子中15%的词，然后用上下文来预测这些被遮住的词。但下游任务微调时，不会出现[MASK]标记。为了让模型适应这种差异性，论文设计了一套替换策略：

• 80%的情况下，把被选中的词替换成[MASK]（例如：my dog is hairy → my dog is [MASK]）
• 10%的情况下，随机换成一个其他词（my dog is hairy → my dog is apple）
• 10%的情况下，保持不变（my dog is hairy → my dog is hairy）

这样做的好处是：模型既要学会根据上下文推断被遮住的词，也要学会处理那些实际出现但被随机替换的词，从而在微调时对真实输入更加鲁棒。

3.2 NSP预训练任务 (Next Sentence Prediction)

NSP任务是判断两个句子是否构成前后句关系。输入格式：开头加[CLS]，两句话之间用[SEP]隔开，句末也加[SEP]。标签分两种：

• 正样例：50%的句子B是句子A后面真实的下一句。
• 负样例：50%的句子B是从语料中随机选取的、与A无关的句子。

这个任务让BERT学会理解句子之间的连贯性，对问答、推理等任务帮助很大。

4 Bert的微调

BERT可以适应多种下游任务，经典的四个方向是：句子（文本）对匹配、句子（文本）分类、问答系统、序列标注。

（1）句对分类（Sentence Pair Classification tasks）

用于预测下一句、语义相似度等任务。输入是两个句子A和B，中间用[SEP]分隔。最终输出的class label表示是否为下一句或语义相似。

（2）单句分类（Single Sentence Classification tasks）

用于文本分类、情感分析等。输入是一个单独的句子，输出class label表示类别。

（3）文本问答（Question Answering tasks）

输入是一个问题和一个相关段落，用[SEP]分隔。输出不是class label，而是答案在段落中的起始和终止位置。这种方法特别适合阅读理解任务。

（4）序列标注任务（Single Sentence Tagging Tasks）

常见于命名实体识别。输入一个句子，输出每个token对应的类别标签。

5 总结

BERT能够取得如此惊人的效果，核心原因有两个：一是采用了强大的Transformer特征提取器，二是实现了真正意义上的双向上下文语义表示。在BERT之后，衍生出了大量改进版本，比如RoBERTa（优化训练方式）、ALBERT（优化模型结构）、DistilBERT（模型小型化）等，都朝着更好、更快、更小的方向进化。可以说，BERT不仅是一个模型，它开启了一个时代——预训练语言模型从此成为NLP的标配。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：自然语言处理入门：BERT模型前世今生深度解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题