微软研究发现：AI越聊越笨，复杂对话可靠性骤降

你是否发现，当我们与AI聊天机器人进行长对话时，它们似乎会变得越来越“笨”？IT之家2月20日消息，如今这种感觉有了科学依据。

Windows Central今日报道称，微软研究院与赛富时联合发布的一项研究证实，即使是目前最先进的大语言模型，在多轮对话中的可靠性也会急剧下降。

研究人员对包括GPT-4.1、Gemini 2.5 Pro、Claude 3.7 Sonnet、o3、DeepSeek R1 和 Llama 4 在内的15款顶尖模型进行了超过20万次模拟对话分析，揭示出一种被称为“迷失会话”的系统性缺陷。

数据显示，这些模型在单次提示任务中的成功率可达90%，但当同样的任务被拆解成多轮自然对话后，成功率骤降至约65%。

研究指出，模型的“智能”本身并未显著下降——其核心能力仅降低约15%——但“不可靠性”却飙升了112%。也就是说，AI大模型仍然具备解决问题的能力，但在多轮对话中变得高度不稳定，难以持续跟踪上下文。

报告指出，当前大多数模型主要在“单轮”基准测试下进行评估，即一次性接收全部指令的理想实验环境。但现实世界中的人类交流通常是渐进式的，信息在多轮互动中逐步补充。研究发现，一旦任务被“拆分”到多个回合中，即使是最先进的模型，也容易出现系统性失误。

研究人员进一步分析了造成性能下降的行为机制。

首先是“过早生成”：模型往往在用户尚未完整说明需求前就尝试给出最终答案。一旦在早期回合中形成错误假设，模型后续便会在该错误的基础上继续推理，而不是随着新信息的加入进行修正，从而导致错误逐步放大。

其次是“答案膨胀”。在多轮对话中，模型的回复长度比单轮对话增加了20%至300%。更长的回答往往包含更多假设与“幻觉”，这些内容随后被纳入对话的持续上下文，从而进一步影响后续推理的准确性。

令人意外的是，即便是配备了额外“思考词元”的新一代推理模型，如OpenAI o3 和 DeepSeek R1，也未能显著改善在多轮对话中的表现。研究还发现，将模型温度参数设置为0——这一常用于确保一致性的技巧——对此类对话衰减几乎没有防护作用。

这一发现对当前AI行业的评估方式提出了质疑。研究人员指出，现有的基准测试主要基于理想的单轮场景，忽略了模型在真实世界中的行为。对于依赖AI构建复杂对话流程或智能体的开发者而言，这一结论意味着严峻挑战。

目前最有效的应对方式反而是减少多轮往返交流，将所有必要数据、约束条件和指令一次性在单个完整提示中提供，以提高输出一致性。