令牌限制：大模型对话的“内存边界”
令牌限制是大型语言模型处理单次请求时所能接受和生成的文本总量上限，它直接决定了模型能记住多长的对话历史和生成多长的回复，是影响AI应用体验的核心技术参数之一。
一句话解释
令牌限制是指大型语言模型（如GPT-4、Claude）在一次交互中能够处理（包括输入和输出）的文本总量上限，通常以“令牌”为单位计量。它就像模型的工作内存，决定了AI能“看到”多长的对话历史和“写出”多长的回答。
为什么会被关注
随着AI助手深入日常，用户希望进行长对话、分析长文档或创作长文。当对话轮次增多或输入文档过长时，模型可能因超出限制而遗忘开头内容，导致回答质量下降或逻辑断裂，直接影响使用体验。因此，该限制成为衡量模型实用性的关键指标。
核心逻辑
模型在生成每个新词时，都需要“回顾”全部的输入文本和已生成文本。这个过程消耗的计算资源随文本长度平方级增长。设置令牌限制是为了在理解能力、生成质量和计算成本/速度间取得平衡。它本质上是技术（算力、算法）与成本（API费用、响应时间）约束下的折中方案。
常见场景
长文档问答：提交一篇长论文让AI总结，若论文长度超过限制，模型无法看到全文。
多轮深度对话：与AI就一个复杂话题连续讨论数十轮后，它可能忘记最初的设定或约定。
长文创作：请求生成一篇数千字的故事大纲或报告时，回复可能在关键处被截断。
代码分析与调试：提交一个大型代码文件时，模型可能无法同时看到所有相关部分。
容易混淆的点
令牌≠单词：在英文中，一个令牌约等于0.75个单词；在中文中，一个汉字通常就是一个令牌。标点、空格也可能算作令牌。
输入与输出的区别：限制通常指“上下文总长度”，是输入和输出令牌数之和。用户输入过长会挤占模型输出的“额度”。
与“知识截止日期”不同：令牌限制关乎“短期记忆”长度，而知识截止日期关乎训练数据的时间范围，是“长期知识”的新旧问题。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词大模型是指通过在海量数据上训练、拥有庞大参数规模的深度学习模型，其核心能力在于理解和生成人类语言及各类内容，是当前生成式AI（如ChatGPT）的技术基石。
上下文窗口是大型语言模型（LLM）在单次处理时能够“看到”和参考的文本信息总量。它就像模型的“工作记忆区”，决定了AI能记住多长的对话历史、理解多复杂的文档，是影响模型实际应用效果的核心参数。