Token是什么？大模型的上下文长度限制原因解析

聊起大语言模型，经常会遇到两个核心概念：Token 和上下文长度。如果你不理解这两者，很多技术细节就会变得难以厘清。因此，今天我们就来彻底拆解这些概念，帮你掌握大语言模型 Token 与上下文长度的核心原理。

先说 Token。这是大模型处理文本时的最小单位。模型并不会直接“阅读”我们的汉字或英文字母，它有自己的一套颗粒度，这个颗粒就是 Token。所有的理解和生成，都是基于 Token 进行的。你可以把它想象成模型“阅读”文本时的“碎片”，但这些碎片并不一定是我们日常理解的一个字或一个词。

一、Token 的三个关键点

1.1 分词过程

当你输入一句话时，模型并不是直接拿来就处理，而是先通过一个叫 Tokenizer（分词器）的组件，把文本切成一个个的 Token。这个组件是一个前置工具，就像一个文本切割器，它有固定的规则（由训练时的词表决定）。没有它，模型就无法理解原始文字，必须先把文字转换成它能识别的 Token 格式。

举个例子，“我喜欢猫”可能会被切成 [“我”, “喜欢”, “猫”] 三个 token。而英文的 "unbelievable"，则可能被拆成 ["un", "believ", "able"]。这里体现了中英文分词的一个典型差异，背后是行业通用的“子词分词”思路：

• 中文：“喜欢”这类高频词，分词器倾向于把它保留成一个 Token，以减少序列长度；只有遇到非常生僻的词，才会拆成单个字。
• 英文：拆前缀、词根、后缀，是因为英语单词实在太多了，如果每个单词都做一个 Token，词表会爆炸。拆成语义子单元，既能覆盖几乎所有单词，又能控制词表大小，还能让模型学会词根词缀的规律，达到一举多得的效果。

1.2 向量化

分词只是第一步。模型会把每个 Token 转换成一个高维向量（也就是 embedding），之后的所有计算，比如注意力机制、前馈网络，全都基于这些向量来执行。这指的是 Token 的“数字化”过程。计算机只识别数字，不识别文字。每个 Token 会被转换成一串包含几千个数字的数组，这串数组里编码了它的语义、语法、情感等信息。语义相近的词，它们的向量距离就近，比如“猫”和“狗”的相似度就很高，而“猫”和“桌子”则相差甚远。

1.3 计费单位

这也是为什么大模型 API 会按 Token 数量来收费。你想想，每一个 Token 都要走一遍完整的向量计算，Token 越多，GPU 需要完成的工作就越多，硬件成本自然随之上升。计费时会同时计算你输入给模型的 Token（提问）和模型生成的 Token（回复），两者加起来就是总消耗。

二、上下文长度限制是什么？

上下文长度限制，就是模型单次能处理的 Token 数量上限，比如 4K、128K、200K。这里的 K 是计算机单位，1K = 1024。超过这个上限的内容，模型就“看不见、记不住”了。那为什么会有这个限制？主要原因有以下几点，每一条都是硬伤。

2.1 注意力机制的“平方灾难”

Transformer 架构的核心是自注意力机制，它的计算复杂度与序列长度呈二次方关系，用公式表示就是 O(n²)。这意味着，如果上下文从 4K 扩展到 128K，计算量并不是增加 32 倍，而是增加将近 1000 倍！这直接导致推理速度急剧下降，甚至可能引发显存爆炸。

• 推理：就是我们日常与 AI 对话、让它生成内容的过程。计算量暴涨，GPU 算不过来，响应就会变得非常缓慢。
• 显存爆炸：大量中间数据会撑爆 GPU 显存，导致程序直接崩溃，俗称“显存炸了”。

2.2 显存（GPU Memory）的物理瓶颈

注意力机制需要存储一个“注意力矩阵”，用来记录序列中每个 Token 与其他所有 Token 的关系。序列越长，这个矩阵就越大，占用的显存也就越惊人。128K 序列长度的注意力矩阵大约有 131072 × 131072 ≈ 170 亿个数值，用常用的半精度格式存储，每个数值占 2 字节。算下来，仅这个矩阵就需要约 32GB 显存。再加上模型参数和其他数据，普通消费级 GPU 根本难以承受。这是硬件层面的物理天花板。

2.3 长距离依赖的衰减问题

就算技术能处理长文本，模型在长序列中的注意力分数也会变得非常稀疏和“稀释”。好比一杯水倒进越来越大的池子里，浓度会越来越低。相隔很远的两个 Token，它们之间的关联权重会变得极低，模型相当于“没注意到”二者有关系，长距离的逻辑推理效果自然就会下降。

2.4 训练难度与成本

训练超长上下文模型比推理更加耗费资源。训练时需要存储大量的梯度数据来更新参数，显存压力是推理的好几倍。而且，序列越长，梯度传递的路径就越长，很容易出现“梯度消失”或“梯度爆炸”，模型很难学会长序列的规律。

面对这些限制，业界当前的主流优化方案主要有两类：

1. 位置编码优化：因为自注意力本身不识别顺序（“我打他”和“他打我”的 Token 一样），所以需要给每个 Token 加上位置信息。像 RoPE、ALiBi 这类新的位置编码，比老方法能更好地支持超长上下文。
2. 稀疏注意力：放弃“每个 Token 和所有 Token 算注意力”的全量模式，改成只和部分 Token 计算，把复杂度从 O(n²) 降到 O(n)。比如滑动窗口注意力（Sliding Window Attention），每个 Token 只跟它前后固定窗口内的 Token 计算关联，能大幅节省计算和显存。

不断探索，共勉。