Token：AI世界的“语言货币”

一句话解释

Token是AI模型处理文本时使用的最小语义单位，可以是一个词、一个字甚至标点，它直接决定了模型能“吃进”多少信息以及生成文本的成本。

为什么会被关注

随着ChatGPT等大模型API的普及，用户发现每次对话的费用都与消耗的Token数量直接挂钩。例如GPT-4每千个Token收费约0.03美元，长文档处理可能产生数千Token，这使得Token从技术概念变成了实实在在的成本计量单位。同时，模型的上下文窗口（如128K Token）限制了单次对话能处理的信息量，如何高效利用Token成为提示工程的核心课题。

核心逻辑

AI模型并不直接理解人类文字，而是先将文本通过分词器拆解成Token序列。英文单词常被拆分为独立Token（如“playing”拆为“play”和“ing”），中文则通常以字为单位（如“人工智能”拆为“人”、“工”、“智”、“能”）。这些Token被转换为数字向量后，模型才能进行计算和预测。输入和输出的Token总数决定了计算资源的消耗，因此API服务商按Token计费。

常见场景

当调用OpenAI API生成文章时，系统会同时计算提示词和回复内容的Token数作为计费依据。开发者在设计聊天机器人时，需要监控对话历史累计的Token数，避免超出模型上下文限制导致早期信息被“遗忘”。在优化提示词时，专家会精简表述以减少无效Token消耗，例如用“总结”代替“请用简短的语言概括以下内容”。翻译长文档前，用户常需先用工具估算Token消耗以控制成本。

容易混淆的点

很多人误以为一个Token对应一个英文单词或一个汉字，实际上英文复合词可能被拆成多个Token（如“tokenization”可能拆为“token”和“ization”），而中文繁简体、生僻字的分词方式因模型而异。另一个常见误解是认为Token仅与文本长度相关，其实相同字符在不同模型中的Token化结果可能不同（例如GPT与Claude的分词器规则差异），导致同一段文本在不同平台的计算成本出现差异。