大语言模型工作三步详解，一文读懂

在生成式AI领域，我们常常听到token、嵌入（Embeddings）这些术语，它们究竟代表着什么？为什么如今的AI看起来似乎真的具备某种“生成能力”？它又是如何与你一来一回、自然对话的？另外，为何大家都反复强调提示词（Prompt）的重要性？甚至，即便你使用完全相同的提示词，同一个AI模型多次提问，获得的答案也可能大相径庭？

要想彻底理清这些疑惑，就不得不深入理解大语言模型（LLM）的底层运作机制。知其然，更要知其所以然。下面，我们将从它的“工作三部曲”出发，为您逐一拆解。

步骤1：分词（Tokenize）

面对一个问题，我们习惯怎么做？自然是先理解问题。LLM也一样，它要做的第一步就是“读懂”你的输入。

LLM在处理输入文本时，会借助其内置的“词典”——也就是分词器（Tokenizer），将我们输入的句子拆解成一个个最小的语言单元，这些单元称为tokens。一个token可以是一个完整的单词、半个词，甚至是一个字符。拆分完成后，这些tokens会被转化为一种名为嵌入（embeddings）的高维向量数值，供模型进一步“消化”。这一步是整个模型理解人类语言的基础，好比人类阅读句子时需要先认字、懂词一样。

具体来说，这个过程包含以下环节：

• 文本分割：输入文本按照既定规则被切分成多个小块（tokens）。切分方式取决于分词器的算法，例如BERT模型常使用WordPiece，而GPT系列则偏好Byte Pair Encoding (BPE)。
• Token映射：每个被切出的token，都会对应到模型内部词汇表中的一个唯一整数编号。这样一来，原始文本就转化成了一个数值序列，便于模型高效处理。
• 嵌入（Embeddings）：这些整数编号随后被转换为高维向量，也就是前面提到的嵌入。嵌入的本质是一种对语义信息的“密集编码”，它捕捉了词汇之间的语义关联和上下文逻辑，堪称AI的翻译官。

步骤2：预测（Predict）

完成分词和嵌入后，LLM便进入了最核心的环节——预测。这一过程依赖多层神经网络和注意力机制，确保它生成的文本不仅语法通顺，逻辑上也连贯合理。

• 输入处理：模型接收n个输入tokens的嵌入表示，然后通过多层神经网络（通常基于Transformer架构）进行处理，目的是捕捉词与词之间的关联及上下文信息。
• 自注意力机制：在每一层网络中，模型会动用一种名为自注意力（Self-Attention）的机制，计算每个token与序列中其他所有token之间的关系。这意味着模型在处理当前词时，能够“眼观六路”，整句话的上下文都在它的视野之内。这一机制是保证输出内容连贯、相关的关键所在。
• 前馈神经网络：经过自注意力“审视”后的数据，会被传送至前馈神经网络层，进行进一步的非线性变换和特征提取。通过多层自注意力和前馈处理，模型最终获得可用于预测的特征表示。

步骤3：概率分布和选择（Probability Distribution & Selection）

有了预测特征，模型就要决定“接下来该说哪个词”？但它并非凭感觉瞎猜，而是遵循一套严谨的算牌逻辑。

• 概率分布计算：模型会为词汇表中每一个可能的下一个token，计算出一个概率分数，表示在当前语境下选择它的可能性大小。这个概率分布通过softmax函数计算产生，确保所有可选token的概率之和恰好为1。
• 选择输出token：算出概率后，模型默认会选择概率最高的那个词作为输出。然而，为了让文本不显得千篇一律、更富“创造性”，模型会适时引入随机性，而非始终选择“最优解”。这个随机性的强度，由一个名为“温度（Temperature）”的参数控制。温度越高，输出越随机、越发散；温度越低，输出越保守、越稳定。
• 迭代生成：选中的token输出后，会被重新接入输入序列，然后模型重复上述所有步骤，生成下一个token。如此循环，直到形成一句完整的回复。

结语

知其然，更要知其所以然。现在再回看开头那些问题，答案自然一目了然。

生成式AI中常说的token是什么？

Token是LLM处理文本的最小单位，可以是一个单词、半个词或一个字符。分词器负责将句子切分成tokens，再将其转化为模型能够处理的数值形式。

嵌入（Embeddings）是什么意思？

嵌入是把tokens转化为高维向量的过程，这些向量承载了词汇之间的语义关系与上下文信息，是模型真正理解语言的基石。

为什么现在的AI具有生成能力？

LLM通过在海量数据上训练，结合复杂的神经网络结构，学会了预测并生成符合上下文的文本。这种能力建立在对语言模式的深度学习以及对上下文语境的精准把握之上。

AI是怎么和你进行对话的？

AI接收你的输入后，先进行分词、嵌入，然后逐步预测下一个最合适的token，最终生成回答。整个过程是连续动态的，从而保证了对话的连贯性与相关性。

为什么都说提示词很重要？

提示词是模型生成内容的起点。一段精心设计的提示词能够有效引导模型在你期望的方向上发力，输出更精准、更高质量的结果。

为什么同一段提示词，同一个AI模型/工具，多问几次可能得到截然不同的结果？

原因在于模型选择输出token时会引入随机性，尤其是在温度参数设置较高的情况下。这种随机性模拟了人类的创造性思维，确保输出不单调——但代价就是，重复提问也可能得到完全不同的回答。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大语言模型工作三步详解，一文读懂要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题