Context Rot：大模型对话中的“记忆衰退”现象
Context Rot（上下文旋转）指AI模型在长对话或多轮任务中，逐渐丢失或混淆早期关键信息，导致回答质量下降的现象。它类似人类的短期记忆衰减，但成因更复杂：受限于固定上下文窗口，以及模型对远距离信息的注意力衰减。了解Context Rot有助于优化提示词设计和选择更合适的模型。
一句话解释
Context Rot 是指AI在处理较长对话或任务时，早期提到的关键信息逐渐“旋转”或丢失，导致后续回答偏离原始意图的现象。
为什么会被关注
随着大模型被用于客服、编程助手、创意写作等长时间交互场景，用户发现模型在对话中后段开始重复回答、忘记用户偏好甚至自相矛盾。Context Rot 直接影响了商用产品的可靠性和用户体验，成为模型评估和工程优化的重要指标。
研究者和开发者关注它，因为突破Context Rot 能大幅提升模型的实用价值，并降低因信息丢失导致的错误决策成本。
核心逻辑
Context Rot 的根本原因有两个。第一，固定上下文窗口机制：模型只能处理固定长度的token序列，超出部分的早期信息会被截断或压缩。第二，注意力衰减：即使在窗口内，模型对距离较远的位置的注意力权重往往较低，如同人类对长篇对话的开头记忆模糊。
此外，模型在逐轮生成时，可能因重复编码自己的输出而偏离原始语义，形成“旋转”式的偏移。预训练数据的统计偏好也会加剧这种漂移，使得模型更容易锚定近期内容。
常见场景
场景一：长对话客服。用户在第5轮提到“我要退换货”，第20轮模型却问“您是需要购买吗？”。
场景二：代码生成。用户在前20轮定义了一个变量名，后续模型却使用不同名称，导致代码逻辑断裂。
场景三：长文档问答。模型对文档开头的事实回答准确，但询问文档中间某细节时，却错引了开头的结论。
容易混淆的点
Context Rot 不等于“模型幻觉”。幻觉是模型生成不存在的事实，而Context Rot 是真实信息在上下文中被遗忘或扭曲。
它也与“上下文窗口溢出”不同：窗口溢出指输入超过模型限制，而Context Rot 即使在窗口内部也可能发生，因为注意力衰减是连续梯度而非突然截断。
另一个常见误解：认为增加上下文窗口长度就能彻底解决Context Rot。实际上，单纯加长窗口可能加剧注意力稀释，需要配合位置编码优化或记忆机制。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词上下文窗口是大型语言模型（LLM）在单次处理时能够“看到”和参考的文本信息总量。它就像模型的“工作记忆区”，决定了AI能记住多长的对话历史、理解多复杂的文档，是影响模型实际应用效果的核心参数。
长上下文(Long Context)是指大语言模型能够一次性处理的文本长度上限。过去模型只能记住几千字，现在主流模型已支持数十万甚至百万token，让AI可以同时分析整部小说、完整代码库或长篇对话，大幅提升复杂任务的处理能力。