预训练模型起源与发展历程

自2022年下半年以来，以AI作画和ChatGPT为代表的大模型应用火爆出圈，让每个人都直观感受到了AI的威力。这些惊艳效果的背后，离不开预训练模型（Pretrained Models, PTMs）的支撑。预训练模型已成为AI模型开发的标准范式“pretrain+finetune”的核心，它让AI开发从手工作坊走向工厂模式，快速适配定制化需求。本文将从预训练模型的起源讲起，逐步解析其关键结构、里程碑模型及最新发展，帮助您全面理解这一领域。

一、预训练模型的起源与发展

1.1 从迁移学习到预训练

预训练的研究最早起源于迁移学习，其核心思想是“运用已有的知识来学习新知识”，即把一个预训练好的模型重新用于另一个任务。早期的预训练模型主要依赖有标签数据，第一个浪潮发生在CV（计算机视觉）领域。

• CV领域的里程碑：ImageNet数据集包含上百万张、上千种类别的图片，覆盖日常物体。基于ImageNet预训练的模型（如ResNet50）广泛应用于图像下游任务，取得卓越进展。
• NLP领域的挑战：由于NLP下游任务多样、数据标注复杂，无法获得如ImageNet一样大规模的有标签数据。因此NLP领域转向自监督学习——利用文本内在联系作为监督信号，通过大量未标记文本捕获通用语言知识。

1.2 NLP早期预训练：词嵌入

早期NLP预训练模型主要是词嵌入（word embedding）的研究，如word2Vec、Glove等。它们至今仍在各种NLP任务中发挥重要作用。

1.3 Transformer带来的突破

2017年出现的Transformer结构给NLP预训练模型带来碘伏性突破。其成功也促使CV领域加入自监督预训练赛道。如今，几乎所有最新的PTM都采用类Transformer结构与自监督学习方法。

图2 预训练的起源与发展[5]

小提示：自监督学习与传统的监督学习不同，它不需要人工标注，而是从数据本身构建监督信号（如预测被遮住的词）。这让大规模预训练成为可能。

二、模型结构：Transformer与两大里程碑模型

PTM成功的关键是自监督学习和Transformer。本节先介绍主导架构Transformer，再介绍两个里程碑模型——GPT和BERT，后续PTM大多是它们的变体。

2.1 Transformer

Transformer是一种序列到序列（seq2seq）架构，由编码器（encoder）和解码器（decoder）组成。其核心是注意力机制（Attention）。Transformer中存在三种注意力机制：

• Self-attention（自注意力）：存在于encoder的注意力层。使用前一层的输出作为Q、K、V，计算输入序列中每个词与所有词的注意力得分，表示其他词对当前词特征表示的贡献。
• Mask-attention（掩码注意力）：存在于decoder阶段。通过掩膜使当前词只能看到左侧的词（从左到右逐词生成）。
• Cross-attention（交叉注意力）：存在于decoder阶段。使用前一层的输出作为Q，同时使用encoder的输出作为K、V，帮助生成词时利用输入序列的信息（如机器翻译、文本摘要）。

图3 Transformer网络结构示意图[5]

小提示：记住三种注意力的角色：Self-attention让词“看”全局；Mask-attention让词“向左看”；Cross-attention让decoder“看”encoder的输出。

2.2 GPT（Generative Pre-trained Transformer）

GPT是第一个在Transformer结构上应用自监督学习目标的PTM。它仅使用Transformer的decoder作为基础结构，并因采用自监督学习而删去了cross-attention层。GPT是一个自回归语言模型，学习目标是根据上文预测下一个词，因此更适合自然语言生成任务。

2.3 BERT（Bidirectional Encoder Representations from Transformers）

BERT基于双向Transformer结构构建，仅使用Transformer的encoder。其“双向”体现在预训练目标——masked language modeling（MLM）：根据上下文预测被遮住的词。计算注意力时，BERT同时考虑被遮蔽词左右两侧的词。BERT是一种自编码语言模型，更适合自然语言理解任务。

图4 BERT与GPT的区别[5]

2.4 后起之秀：变体与扩展

在GPT和BERT之后，涌现了大量变体。图5展示了当前预训练模型家族的主要成员。研究方向包括：

• 改进模型架构并探索新预训练任务
• 探索数据的丰富性（如多语言、多模态PTMs）
• 探索更大规模参数及计算效率优化

预训练任务的设计至关重要。下表总结了常见预训练任务：

• 单资源数据（单语言纯文本）：挖掘词汇、句子、篇章的内在联系，如MLM、下一句预测等。
• 多资源数据（多语言/多模态）：构建不同语言或模态的统一特征表示。

图5 预训练模型家族主要成员[5]

小提示：预训练任务就像“习题”，模型通过大量“做题”学习语言知识。GPT的习题是“猜下一个字”，BERT的习题是“填空”。

三、常见问题（FAQ）

Q1: 什么是自监督学习？它和有监督学习、无监督学习有什么区别？

自监督学习是一种利用数据本身结构生成监督信号的方法。它介于有监督和无监督之间：不需要人工标注，而是通过设计任务（如预测被遮住的词）从数据中自动产生标签。例如BERT的MLM就是自监督学习，它从文本中挖掉一些词，让模型去预测。

Q2: GPT和BERT的主要区别是什么？如何选择？

GPT使用decoder，是自回归模型（从左到右预测），擅长生成任务（如对话、文章续写）。BERT使用encoder，是自编码模型（利用上下文预测），擅长理解任务（如情感分析、命名实体识别）。如果任务是生成，选GPT；如果是分类或标注，选BERT。

Q3: 预训练模型的“pretrain+finetune”和“pretrain+prompt+predict”有什么区别？

前者是传统范式：先在大规模数据上预训练通用模型，然后在下游任务上微调全部或部分参数。后者是新兴范式：预训练后，通过设计提示（prompt）让模型直接预测，而无需微调（或仅少量微调），更适合多任务统一。例如GPT-3就使用了prompt学习。

四、总结

预训练模型的发展极大推进了AI落地。从迁移学习到自监督学习，从CV的ImageNet到NLP的Transformer，再到GPT和BERT两大里程碑，预训练模型正朝着更大规模、更多模态、更高效的方向演进。当前行业掀起了“炼大模型”的热潮，致力于打造AI领域的基石模型。同时，新的范式“pretrain+prompt+predict”也在推动多任务统一。归根结底，大家都在探索同一个问题：如何快速有效地进行AI模型开发——这也是AI领域永恒的重要课题。

五、参考文献

[1] Deng J, Dong W, Socher R, et al. Imagenet: A large-scale hierarchical image database[C]//2009 IEEE conference on computer vision and pattern recognition. Ieee, 2009: 248-255.

[2] Mikolov T, Chen K, Corrado G, et al. Efficient estimation of word representations in vector space[J]. arXiv preprint arXiv:1301.3781, 2013.

[3] Pennington J, Socher R, Manning C D. Glove: Global vectors for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). 2014: 1532-1543.

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：预训练模型起源与发展历程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题