大模型条件推理与模态推理详解

当GPT-4、Claude、Llama等大语言模型在文本生成、翻译、代码编写等领域展现出接近甚至超越人类的表现时，一个根本性问题也随之浮现：它们的“聪明”，是否等同于真正的“逻辑智慧”？尤其是当我们探讨人类思维中那些“如果……那么……”（条件推理）和“可能”、“必须”（模态推理）的基本结构时，这些庞然大物的能力究竟如何？

近日，来自加州大学伯克利分校、纽约大学和麻省理工学院的跨学科研究团队，发布了一篇题为《大型语言模型中的条件与模态推理》的修订版论文。这篇论文绕开了复杂的常识或多步推理，直击核心：将当今最顶尖的25个大模型，置于逻辑学和哲学精心设计的“单步逻辑推理”考场中，检验它们处理条件句和模态词的基本功。

他们试图厘清几个关键问题：面对最基础的逻辑结构，大模型是严格遵守逻辑规则，还是常常“凭感觉”犯错？不同的提示方法能否“唤醒”模型的推理能力？更重要的是，这种纯逻辑推理能力，与模型在数学、知识问答等通用任务上的表现，又有多大关联？

研究背景：当逻辑学对话AI

逻辑推理，讲究的是仅凭“如果”、“或”、“可能”这类逻辑词的含义，就从前提必然推出结论。这与我们日常依赖背景知识的推理截然不同。例如，“A在B左边，所以B在A右边”并非逻辑有效（它依赖于“左”“右”的定义），但“A在B左边，所以有东西在B左边”则是纯粹的逻辑有效。

评估大模型的逻辑能力之所以棘手，是因为它们总混入世界知识。为此，研究团队设计了一组“干净”的测试题：一方面使用“玛丽参加了婚礼”这样的日常例子；另一方面，则创造出一堆诸如“如果flugel被blimmed，那么flugel被zargled”的无意义句子。后者剥离了所有语义干扰，迫使模型只能依赖纯粹的句法形式进行推理。

在逻辑学中，如何处理“如果p，那么q”一直存在两大流派交锋。经典逻辑采用“实质蕴含”分析，认为只要p为假或q为真，整个条件句就为真。但这常违背直觉——按此说法，“如果学生努力学习，那么她不会失败”竟然意味着“所有学生都努力学习”，这显然荒谬。

更贴合人类直觉的是“模态”分析，它借助“可能世界”的概念：一个条件句为真，意味着在所有p成立的可能世界里，q也成立。本研究的一个重要目标，就是检验大模型在处理条件句时，究竟遵循哪一种逻辑。

实验设计：一场逻辑基本功大考

研究团队搭建了一个涵盖25个主流大模型的竞技场，包括GPT-4全系列、Claude 3全家族、Llama 2/3系列以及Gemini、Mixtral等知名选手，涵盖了开源与闭源、不同规模的各种版本。

图1：对实验结果中讨论的简单逻辑推理模式的性能总结。基线准确率为50%。较大的模型通常表现更好，但大多数模型在此任务中仍存在明显弱点。

考题则是从逻辑学教材中精选的经典推理模式，如肯定前件、否定后件、析取三段论等。每个模式都配备了日常实例和无意义谓词实例两套试卷，并测试了前提顺序交换等变体。

表1：检验的推理模式列表。p、q表示命题，→表示“如果……那么……”，◇表示“可能”，□表示“必须”。图1总结了所有（且仅在）无争议、无模态的推理模式上的成功率。

评估方式也力求严谨：在温度参数为0（确定性输出）和1（有一定随机性）下，分别测试了零样本、少样本以及零样本链式思维提示的效果。

表2：在不同提示设置下，模型在一些简单推理模式上的性能对比。

核心发现：亮点与逻辑裂痕

先说一个符合“好消息”直觉的结论：模型越大，逻辑推理的平均表现越好。这一点与常识相符。

但深入细节，有趣甚至令人担忧的现象出现了。

发现一：大模型更信“模态”，而非“实质蕴含”

研究重点测试了“条件传递性”和“前件增强”两种推理。按照“实质蕴含”的逻辑，它们都是有效的；但按“模态”分析及人类直觉，它们无效。

例如，从“如果下雨，那么不下大雨”推出“如果下大雨，那么不下雨”，这明显不合理。实验发现，大模型普遍倾向于拒绝这类推理，其判断与人类直觉及模态分析一致，而非经典的实质蕴含。这意味着，简单地用经典逻辑去“套”和批判大模型的推理，可能一开始就走错了方向。

发现二：不一致性与危险“泛化”

当推理中混入“可能”、“必须”等模态词时，大模型开始频繁“露怯”。许多在纯命题推理中有效的规则，一旦加入模态词就可能失效。

例如，在命题逻辑中有效的“否定后件”推理，其模态版本是否依然有效？研究设计了MTmu（模态-否定后件）等复杂测试。结果发现，不少模型表现出了逻辑上的不一致：它们能正确判断某些模态推理无效，却错误地接受了结构类似的其他无效推理。

图2：模型在MTmu（上图）和MTmi（下图）上的零样本响应，显示了许多模型的不一致性。

图3：模型在DSmu（上图）和DSmi（下图）上的零样本响应，同样显示了许多模型的不一致。

更令人惊讶的是“顺序敏感性”。当连续询问模型几个相关的模态推理问题时，模型给出的答案会高度依赖于问题的排列顺序。这说明模型的“逻辑判断”并不稳定，更像是一种对表面模式的、脆弱的匹配，而非深入的理解。

图4：当按特定顺序询问领先模型关于DSmu、MiN和DSmi的问题时，回答保持联合一致的百分比。较大的标准差表明对问题顺序有极强的敏感性。

发现三：链式思维的“神力”与局限

一个显著的积极发现是，“链式思维”提示（即要求模型“逐步推理”）能大幅提升几乎所有模型在逻辑任务上的表现。GPT-4、Gemini 1.5 Pro、Claude 3 Opus等顶级模型在链式思维加持下，准确率可接近完美（98.6%以上）。

然而，这种“神力”仍有边界。对于某些顽固的无效推理模式，如条件肯定前件，即便是最好的模型，在链式思维引导下仍会高频率地误判为有效。

图5：模型在CMP推理模式上的表现，零样本（上图）与链式思维（下图）对比。即使经过引导，许多模型仍难以正确判断。

发现四：逻辑能力与综合表现强相关

研究将模型在本次逻辑基准测试上的得分，与Chatbot Arena（聊天能力排名）、MMLU（大规模多任务语言理解）、GSM8K（数学推理）等流行基准的得分进行了对比。结果显示，它们之间存在高度正相关（相关系数达0.72-0.77）。

这强烈暗示，纯逻辑推理能力并非孤立存在，它与模型整体的数学推理、知识掌握及通用对话能力紧密相连，共同构成了模型“智力”的基石。

图6：本研究的评估结果（零样本）与LMSYS Elo评分、MMLU分数、GSM8K分数的相关性，均呈现高度正相关。

讨论与未来：通向更稳健的机器逻辑

这项研究犹如一次精密的“逻辑体检”，揭示了大模型华丽能力下的固有缺陷：它们在处理人类思维中最基础的逻辑结构时，仍会表现出不一致、过度泛化以及对提示方式的过度依赖。

这些发现指明了未来改进的两个清晰路径：一是训练数据与目标需要更深入地融入严谨的逻辑结构；二是提示工程（如链式思维）作为一种“外部矫正”工具，效力显著但尚未触及根本。

更重要的是，研究开启了一系列更深入的问号：大模型在这些逻辑错误上与人类常犯的错误有何异同？如何将模态、条件推理的研究，与概率推理、因果推断等更广阔的认知领域相连接？

通往真正具有稳健、可解释逻辑能力的人工智能，这场考试才刚刚开始。而这份研究，无疑是一份重要的阶段性答卷。

论文原文：https://arxiv.org/pdf/2401.17169

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大模型条件推理与模态推理详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题