大模型中的Token是什么意思？一文详解核心概念

1. 引言

在大模型领域，“Token”这个词几乎是绕不开的存在。前段时间国内大模型厂商的价格战，让不少人第一次注意到它——各大模型的定价都是以Token为单位的。如果你用过扣子（Coze）这类智能体平台，或者调过API，估计对Token的消耗也不会陌生：每次处理文本，平台都会明确告诉你用了多少输入Token、多少输出Token。

那么，Token到底是什么？为什么大家宁愿用这个英文词，也不找个对应的中文说法？技术背景的朋友大概知道，Token大致相当于词语或字符——但事情远没那么简单。读完全文，这些疑惑自然会解开。

2. Token的几种含义

在计算机领域，Token是个“老熟人”了。不过，不同方向对它有不同的定义，含义千差万别。

计算机安全

在安全领域，Token通常指安全令牌，用于身份验证和授权。比如多因素认证（MFA）中的硬件或软件令牌。Web登录成功后，后台会生成一个带时效的字符串作为Token返回给客户端，之后每次请求带上它，后台验证一下就能判断登录状态。

网络

网络通信里，Token可以指一种访问控制机制，用于管理共享资源的使用。经典的例子是令牌环网络中的Token传递机制。

编译器

在编译器设计中，Token是源代码里最小的有意义元素，也叫“符号”。像关键字、运算符、标识符都属于Token。词法分析器会把源代码拆成Token，再交给语法分析器处理。

区块链

区块链或币圈里，Token通常指数字资产（代币），代表某种权利或价值。比特币、以太坊就是典型的Token。

自然语言处理

在NLP领域，Token是文本中的最小单位，可以是单词、子词或字符。Token化（即分词）就是把文本切分成Token的过程，这是所有NLP任务的起点。

3. 大模型中的Token

大语言模型（LLM）和NLP一脉相承，所以大模型中的Token与NLP中的Token含义一致。在GPT-4这类模型中，Token是模型处理和理解文本的基本单位。模型先把用户输入的文本切成Token，然后基于这些Token进行计算和推理，生成输出Token，最后再将输出Token转回可读文本。

在大模型内部，每个Token都对应一个向量表示。模型通过这些向量进行语义理解和生成，而连接Token与自然语言的桥梁，叫做Tokenizer（分词器）。

上面这些描述仍然有些抽象。下面通过具体例子，看看Token到底长什么样。

对于英文，用GPT自带的Tokenizer可以直观看到句子被转成了什么Token序列。截图里，一句话共224个字符，被分成了49个Token。注意，Token并不是严格按单词粒度划分的——比如“tokenization”被拆成了“token”和“ization”，“Newer”拆成了“New”和“er”。另外，单词前面的空格通常会跟单词一起算作一个Token。

上图中展示的是文本形式的Token，但大模型并不直接处理文本。每个Token都有一个唯一ID，模型推理时基于这些ID做运算。切换“Text/Token IDs”标签，就能看到Token文本和ID的映射关系——第一个Token“It”的ID是2181。

中文Token的处理逻辑类似。用通义千问的Token计算器演示，可以看到中文句子的Token化结果以及Token文本与ID的对应关系。有意思的是，中文Token也和我们常用的词语不完全一致：比如“大模型”被分成了“大”和“模型”两个Token，而“的基础”本身并不是一个汉语词语，却被划成了一个Token。

还需要注意一点：不同大模型使用的分词器（Tokenizer）不同，所以同一句话在不同模型里的Token化结果可能不一样。同样一句话，在通义千问中分出60个Token，在文心一言中却只分出了50个。

可见，大模型中的Token跟字符或词语并不是一回事。它是分词器根据一定算法把文本切成的小片段，可能是一个字符/符号、一个词语、半个词，甚至是一段经常同时出现的字符序列。按OpenAI的文档，一个Token大约相当于4个英文字符；按腾讯混元的说明，一个Token大约等于1.8个汉字或3个英文字母。

4. Token化过程

Token化就是把文本分割成Token的过程，中文叫“分词”。这个过程对模型理解自然语言至关重要。不同的Token化方法会根据应用场景选择不同策略，常见的有：

1. 按单词分割：按空格把文本切分成单词。优点是简单直观，但遇到未登录词（out-of-vocabulary）就会出问题。
2. 按字符分割：按字符切分。优点是处理灵活，但会产生大量Token，增加计算负担。
3. 按子词分割：把文本切成更小的子词单元，平衡了词级和字符级的优缺点。常用的子词分割算法包括Byte Pair Encoding（BPE）、WordPiece、SentencePiece、Unigram。

Token化过程由Tokenizer完成。前面提到过，Tokenizer干两件事：一是把自然语言文本转成Token（ID）序列作为模型输入，二是把模型输出的Token（ID）序列转回自然语言文本。市面上有很多开源的Tokenizer项目，比如OpenAI把GPT用的Tokenizer开源为tiktoken项目，它使用的就是BPE算法。

5. Token消耗计算方式

输入Token

模型接收输入文本时，会将其分割成Token。输入Token数量取决于文本长度和所用的Tokenizer。比如，输入“Hello, how are you?”可能会被分成6个Token：“Hello”、“,”、“how”、“are”、“you”、“?”。

输出Token

模型生成响应时也会消耗Token。生成的每个单词或符号都会算作一个Token。比如，模型输出“I'm fine, thank you.”可能被分成7个Token：“I”、“'m”、“fine”、“,”、“thank”、“you”、“.”。

总Token消耗

总Token消耗量等于输入Token与输出Token之和。假设输入是6个Token，输出是7个Token，那么这次调用的总消耗就是13个Token。

大模型在计算Token消耗时，通常计算输入+输出的总和。具体计费方式以各家大模型厂商的文档为准。

为什么一定要把输入和输出的Token加起来算？

这是由生成式大模型的工作方式决定的：模型根据上下文预测下一个Token，先根据用户输入序列预测出第一个输出Token，然后把第一个Token追加到输入序列，再预测第二个输出Token，依此类推。所以，除了第一个输入序列，每个输出Token也都参与了推理计算（可能最后一个除外）。

理解Token消耗的计算方式，有助于优化输入文本和模型响应，减少不必要的Token消耗，从而降低成本。

6. Token与上下文窗口

上下文窗口指的是模型在处理文本时能“看到”的最大Token数量。这个窗口决定了大模型一次推理能处理多长的文本。比如Doubao-pro-128K，意思就是模型推理时能支持最多128000个Token的上下文。

更大的上下文窗口能捕捉更多信息，但也会增加计算复杂度。处理长文本时，Token长度与上下文窗口的选择非常重要。如果Token序列太长，超出了上下文窗口的限制，就要用滑动窗口（Sliding Window）或截断（Truncation）策略来应对。

在聊天应用中，上下文窗口不仅包括当前对话的输入和输出，还包含之前的对话历史。如果聊天内容太长，超出模型上下文窗口限制，较早的对话内容就会被丢弃，模型可能出现答非所问的情况。这时候，需要重复最初的问题，或者新开一个对话。

7. 结论

Token是大模型中不可或缺的基础单位。通过Token化，文本能够被大模型理解并处理，从而执行各种推理任务。弄懂Token的含义及其在大模型中的作用，能帮助我们更高效地使用大模型，节约成本，也避免踩坑。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大模型中的Token是什么意思？一文详解核心概念要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题