大模型表格推理综述研究现状及未来方向

表格推理这事儿，最近在NLP圈里很火，简单说就是让模型根据你给的表格，再结合文字描述（如果有的话），生成一个靠谱的答案。这能大大提高我们从海量表格里捞信息的效率。现在，用大型语言模型（LLMs）来做表格推理已经成了主流方法，不仅成本低，效果也更好。但问题是，现有研究对LLM时代的表格推理工作缺乏系统性总结：哪些技术能真正提升性能？LLM为啥在表格推理上这么牛？未来还能怎么增强？这些问题都还没搞清楚，自然会拖慢研究进展。这篇文章就是想把这些问题掰开了揉碎了讲清楚，给未来的研究指个方向。我们会盘点LLM时代的主流技术，比较LLM和前LLM时代的优势，最后从改进现有方法和拓展实际应用两方面给出建议。

摘要

表格推理的目的是根据用户提供的表格（可能有可选的文本描述），生成对应问题的答案，从而有效提升信息获取效率。最近，使用大语言模型（LLMs）来做表格推理成了主流。这玩意儿不仅大大降低了标注成本，性能还远超以前的方法。但问题是，目前还缺一份对LLM表格推理工作的系统总结。因为研究不够，到底哪些技术能在LLM时代提升表格推理性能、LLM为啥在这方面表现这么好、以及未来怎么增强，这些问题都还藏在黑箱里，大大限制了研究进展。为了回答这些问题、推动LLM在表格推理领域的研究，我们通过这项调查来分析现有工作，给未来铺路。在本文中，我们分析了LLM时代提升表格推理性能的主流技术，并比较了LLM和前LLM时代的方法在解决表格推理时的优势。我们还从改进现有方法和拓展实际应用两个维度，指明了未来的研究方向。

1 引言

（图1:各种表格推理任务的说明）

表格推理任务对从大量表格中高效获取和处理数据至关重要，在自然语言处理（NLP）研究中地位很高。正如图1所示，给定一个或多个表格，模型需要生成与问题对应的结果，满足用户需求（比如表格问答、表格事实验证）。过去，表格推理研究走过几个阶段：基于规则的、基于神经网络的、基于预训练语言模型的（我们叫前LLM时代）。但最近的研究表明，LLM在NLP任务上表现惊艳，特别是显著降低了标注需求，所以我们称之为LLM时代。于是，大量工作一头扎进把LLM用到表格推理上，试图既省钱又超越前LLM时代的方法，这已经成为当前的主流。

不过，目前对LLM表格推理工作的总结分析还缺得很，这导致如何提升性能还在摸索中，说白了就是限制了现有研究。而且，前LLM时代的表格推理调查，放到LLM身上根本不适用——前LLM时代那些主流技术，比如改模型结构、设计预训练任务，在LLM这里用不了；LLM方法更注重设计提示或流程。所以，本文总结了现有LLM表格推理工作，给未来照亮路。具体来说，我们重点关注表格推理的三个问题：

1. LLM时代哪些技术能提升表格推理性能；
2. LLM为啥在表格推理上表现这么好；
3. 未来怎么进一步增强表格推理能力。

（图2:我们论文的结构概述，以最具代表性的作品为例。）

本文的结构见图2。针对第一个问题，为了更好适应LLM时代的表格推理研究，我们在§3里介绍了主流技术和具体方法——根据所用技术给现有工作分了类，并一一说明。针对第二个问题，§4探讨了LLM在表格推理上表现出色的原因——比较了前LLM和LLM在不同基准上的最优性能，证明LLM始终领先。然后基于表格推理的两个固有挑战，讨论了LLM的优势。针对第三个问题，§5讨论了表格推理的未来方向。为了推动研究并更好落地，我们分别分析了如何进一步提升表格推理性能，以及如何把表格推理适配到实际应用中。

2 背景

2.1 论文选择标准

为了确保所选论文和本文高度相关，它们得满足两个条件：1. 任务中的每个问题必须至少和一个表格相关；2. 提出的方法必须使用或微调LLM进行推理。

2.2 任务定义

作为后续分析的基础，本小节给出表格推理任务的定义。输入包括表格、可选的文本描述，以及针对不同任务（如表格问答、表格事实验证、表格到文本、文本到SQL）定制的用户问题；输出就是答案。

2.3 基准测试

为了帮助研究人员详细了解表格推理在现有应用场景中的情况，我们介绍了四个主流表格推理任务，超过90%的选定论文都涉及，包括文本生成、蕴含和语义解析。图1展示了这四个任务的示例。虽然大多数用LLM做表格推理的工作不需要微调数据，但仍需依赖标注数据来验证性能。所以，本小节也为每个任务提供了一个最常用的验证基准作为示例，并在 GitHub 上汇总了相关资源：

• 表格问答： 根据表格回答一个问题。WikiTableQuestions作为初始基准，包含开放领域表格和复杂问题。

• 表格事实验证： 根据证据表格验证文本假设是被蕴含还是被反驳。TabFact是第一个基准，包含大规模跨领域表格数据和复杂的推理要求。

• 表格到文本： 根据给定问题和表格生成对应的自然语言描述。和只生成几个跨度的表格问答不同，表格到文本要求答案是一个段落。FeTaQA要求模型对问题生成自由形式的答案，数据量大且质量高。

• 文本到SQL： 将数据库下的文本问题转换为可执行的结构化查询语言（SQL）。Spider是第一个多领域、多表格的基准。

3 在LLM时代提高表格推理性能的技术

前LLM时代和LLM时代的模型能力差别很大，导致主流技术跟着变。为了帮助研究从前LLM时代顺利过渡到LLM时代，本小节我们从两个角度讨论LLM时代的主流技术：1. 继承前LLM时代的技术（§3.1）；2. LLM时代独有的技术（§3.2）。我们根据技术将表格推理方法分为五类，如图3所示，并逐一介绍，强调技术的变化，目的是让大家明白如何在LLM时代用好这些技术。

3.1 继承前LLMs的主流技术

尽管LLM带来了巨大变化，但前LLM时代很多技术仍然能用。所以，本小节介绍继承下来的技术。

监督式微调
监督式微调就是用标注数据微调LLM，以增强表格推理能力。由于一些开源的小规模LLM在解决表格任务上比较弱，而且微调成本相对较低，研究人员就用这项技术来提升性能。
现有工作包括两种类型：1. 利用现有的或手动标注的数据；2. 利用LLM生成的蒸馏数据。对于前者，TableGPT通过构建指令数据集来微调LLM；TableLlama通过选择代表性表格任务数据集来构建训练数据；APEL提出一种标注SQL的方法，根据模式生成数据库，并根据执行结果判断正确性。对于蒸馏数据，有工作观察到开源模型在表格到文本任务上落后于LLM，于是用LLM作为教师模型蒸馏理由和表格描述，再用蒸馏数据微调开源模型。还有工作关注模型无法定位证据的问题，用其他LLM获取训练数据来预测标记描述的位置，然后微调模型。
现有数据集通常质量高，但领域和任务更局限；蒸馏数据限制少，但数据质量低。所以，如何通过尽可能少的人工干预显著提升数据质量，是亟待解决的紧迫问题。
值得一提的是，前LLM时代由于模型能力限制，监督微调方法不能在未见任务上泛化。而在LLM时代，研究人员设计了基于指令和多任务的数据来微调模型，增强表格推理能力，使其泛化到不同任务，甚至训练阶段未见的任务。

结果集成
结果集成就是从LLM生成的多个结果中选最合适的答案，提升表格推理能力。因为前LLM时代和LLM时代的模型面对轻微干扰（比如随机数种子、问题中的无意义词），都可能答错，所以研究人员用了这项前LLM时代的技术。
LLM时代的结果集成方法主要关注两个问题：1. 如何为一个问题获得多样化的结果；2. 如何在多个结果中选正确的。对于获得多样化结果，SQLPrompt注意到固定提示和模型导致结果多样性低，提出用多个提示和模型生成结果。对于选择正确结果，Lever专门训练了一个验证器来给每个生成的答案打分；还有工作通过生成新数据库并用LLM预测执行结果来构建测试用例，以便区分不同SQL。
解决这两个问题的方法可以独立提升集成性能，所以两者可以同时关注，进一步提高LLM的表格推理性能。
和前LLM方法相比，LLM可以用更多、更简单的方式生成更多样化的结果。比如，只需改变指令而不改变问题，就能获得多样化结果，而前LLM方法必须确保微调和推理的指令对齐。

3.2 LLMs独有的主流技术

在LLM时代，除了继承下来的技术，因为涌现现象，还出现了LLM独有的技术。这里介绍三种典型的涌现能力。

上下文学习
上下文学习就是通过使用更合适的自然语言指令和多个示例（即提示），让模型生成预期答案，不需要额外训练或梯度更新。因为LLM的性能受提示影响很大，研究人员就利用上下文学习技术，通过设计提示直接解决表格推理任务。
关于利用这种能力做表格推理的工作，有研究首次证明LLM可以通过上下文学习理解表格。ODIS观察到领域内示例能提升模型性能，所以根据SQL相似性合成领域内SQL。为了应对示例选择难题，DAIL-SQL和另一项工作分别基于掩蔽问题相似性和SQL相似性选择示例。在解析复杂表格方面，有工作提出将表格单元解码为包含丰富信息的元组输入。TAP4LLM注意到表格可能包含噪声和模糊信息，所以分解表格然后增强子表格。AutoCoT则用基于模式链接的规则方法生成理由。
由于前LLM时代的模型只能通过微调学习固定类型的提示，很难灵活调整提示来提升推理性能。而LLM凭借上下文学习能力，可以使用适合不同问题的多种提示，无需进一步微调，在提升性能的同时大大减少了标注开销。

指令设计
指令设计就是利用LLM通过设计指令描述来解决训练阶段未见的任务，这得益于LLM的指令遵循能力。在表格推理中，研究人员通过指导LLM完成多个分解的子任务（这些子任务可能是新颖的，需要模型通过指令学习）来间接完成任务。现有工作集中在两种方法上：1. 基于模块化分解的；2. 基于工具使用的。
研究人员发现，完成分解的子任务比完成整个任务更容易，LLM可以利用指令遵循技术泛化到不同的子任务，从而通过模块化分解提升性能。DATER和DIN-SQL都注意到分解表格推理能有效促进多步骤推理，所以设计了流程来降低难度。TableQAKit发现表格问答面临不同的数据和任务形式，阻碍了研究便利性，所以将任务分为配置、数据、模型和评估模块。在开放领域设置中，CRUSH4SQL、OpenTab和DB-GPT将任务分解为检索和推理两个阶段，缓解无关信息增加带来的难度。DBCopilot注意到检索可能受到多样化表达和词汇不匹配的影响，所以任务被分解为先生成与问题相关的模式，然后再推理。MAC-SQL发现有限的上下文窗口、单次传递生成和缺乏验证导致性能不佳，所以将任务模块化分解为三个模块。
面对表格推理的分解子任务，虽然LLM在大多数子任务上表现可接受，但在所有子任务（比如检索、数值推理）上并不都出色。所以研究人员指导LLM调用不同的工具来解决某些子任务，这就是工具使用的方法。StructGPT观察到结构化数据量太大，无法输入到模型，所以提供不同接口来提取多种类型的数据，模型通过调用适当接口获得有效数据。有工作为了探索和评估LLM的行动和推理能力，提出了长形式数据库问答任务，LLM需要通过推理决定交互策略，然后生成交互命令调用外部模型。为了扩展各种表格问答任务的模型能力，有工作通过调用其他LLM API查询知识和执行额外的表格操作。此外，一些工作专注于制作工具然后使用它们。Binder注意到现有神经符号工作是模型和语言特定的，需要大量训练数据，提出利用LLM解析无法转换为目标程序的子问题，然后调用LLM解决。为了应对自动将任意表格转换为响应问题的挑战，ReAcTable提出利用LLM生成一系列函数，然后执行这些函数产生中间表格，最终得到答案。
模块化分解和工具使用可以一起用。比如，在用多个模块解决任务时，每个模块可以通过使用工具来提高性能。
前LLMs没有指令遵循能力，所以在弱泛化的情况下，使用模块化分解方法时必须为每个子任务训练单独的模型；而且前LLM时代很难灵活使用或制作各种工具。相比之下，LLM可以在不单独微调每个子任务或工具的情况下实现更优越的性能，节省训练开销。

逐步推理
逐步推理表示通过使用包含中间推理阶段的提示机制来解决复杂任务，它既是技术也是能力。
逐步推理要求LLM将复杂问题分解为多个更简单的子问题，这和模块化分解不同，后者需要研究人员把任务分解成截然不同的子任务。MURMUR注意到提示LLM逐步推理缺乏推理步骤之间的明确条件，提出在每个步骤选择可能正确的模型，然后根据评分模型选择最佳模型。Chain-of-Table为了降低单跳推理难度，提供了预定义的表格操作，LLM在每个步骤选择一个操作并执行。
前LLM时代的方法不具备逐步推理能力，所以很难通过利用它来提升解决复杂表格推理的性能。而LLM可以将推理分解为多个步骤，每个步骤的难度都低于整个问题，从而降低表格推理的复杂性。

（图4:几个月内使用不同技术的研究趋势。#Paper表示论文的数量。）

3.3 比较

技术比例比较
为了分析现有研究趋势，我们静态统计了使用不同技术的研究论文数量，如图4所示。从图中可以发现，与逐步推理和结果集成相比，研究指令设计和上下文学习在表格推理任务中更有前景。这是因为逐步推理和结果集成的工作占比较少——这些技术可以容易地应用到不同任务上，所以专注于结果集成技术的研究者不多，第5节有详细讨论。
相反，指令设计和上下文学习技术需要为表格推理专门设计方法，而且比监督微调技术的时间开销更低，所以相关研究在表格推理中最常见。

技术性能比较
为了找出最有效的技术，从而找到有前景的研究方向，我们统计了LLM方法使用不同主流技术在不同基准上的最高分数，如表1所示。可以发现，指令设计和逐步推理在不同任务中一致提升了LLM的表格推理能力，第4节有详细讨论。此外，不同任务中性能提升的一致性，也说明不同表格推理任务所需的能力高度一致，需要LLM有很强的泛化能力。值得注意的是，上下文学习在文本到SQL任务中取得了最佳性能——因为SQL语法比自然语言简单，用相同数量的示例，文本到SQL可以覆盖更多类型的用户问题，所以它比用上下文学习解决其他表格推理任务更受关注。

（表1：在每种主流技术下不同基准测试中的最佳结果。† 表示WikiTableQuestions。WikiTableQuestions/TabFact/FeTaQA/Spider的评估指标是准确率/准确率/ROUGE-1/执行准确率。）

（表2：在不同基准测试中，LLM之前的模型和LLM方法的最佳性能。† 表示WikiTableQuestions。WikiTableQuestions/TabFact/FeTaQA/Spider的评估指标是准确率/准确率/ROUGE-1/执行准确率。）

4 为什么LLMs在表格推理中表现优秀

LLM通过第3节的方法，在表格推理中超越了前LLM模型（表2）。我们可以从结构理解和模式链接这两个主要挑战，来分析背后的关键原因。

4.1 指令遵循能力有助于结构理解

结构理解就是理解表格架构（比如列、行）及其关系，这为解码提供了关键证据和上下文信息。和前LLM模型相比，LLM能更好地解决结构理解挑战，主要归功于指令遵循能力。例如，指令遵循带来的代码解析能力可以提升表格理解能力——因为两者都需要从平面输入中识别出层次结构（比如线性化的表格到结构化的表格，上下文化的代码到结构化的代码）。

4.2 逐步推理能力有助于模式链接

模式链接指的是将问题中提到的实体与表格中的实体对齐。和前LLM模型相比，LLM在模式链接方面更强，主要是因为逐步推理能力。具体来说，LLM可以将完整的问题和表格分解，过滤掉不相关的上下文，把链接从句子级别简化到跨度级别。

5 如何在未来增强表格推理能力

为了推动LLM时代的表格推理研究并落地应用，本小节从增强表格推理和扩大实际应用两个角度，讨论未来的研究方向。

5.1 提高表格推理性能

虽然现有基于LLM的方法相比前LLM时代有了显著提升，但要彻底解决表格推理任务，还有一定差距。所以，我们分析一下第3节中每个类别的现有工作，看看不足和可能的改进。

监督微调：建立多样化的训练数据
由于LLM的强泛化能力，进行监督微调时，应该构建多个表格任务的多样化数据，以提升整体性能。如第3.1节所讨论，现有的手动标注数据方法只是简单地把不同表格任务的多样化数据混合作为训练数据。但训练数据中不同任务的比例对模型性能影响很大。未来应该平衡来自多个任务的不同比例的多样化训练数据，找出微调LLM表格推理能力的最优比例。
除了标注数据，现有的蒸馏数据方法只关注某些特征或特定任务，导致蒸馏数据多样性不足，无法通过微调蒸馏数据全面提高表格推理性能。所以，值得探索如何为不同任务蒸馏多样化的数据，提升LLM在表格推理中的综合能力和泛化。

结果集成：更有效地采样结果
为了在集成后得到正确答案，应该关注如何在可能的结果空间中有效采样。获得多个结果的主要目的是扩大采样空间，让正确答案能被多次采样。但现有工作没考虑改变提示中的示例来提高结果的正确性——示例对LLM表格推理性能的影响很显著。未来应该改变示例，采样更可能正确的结果。
当前关于选择正确答案的研究仅依赖最终结果，没考虑推理步骤增加会导致结果数量指数增长，在指数级大的搜索空间中采样正确答案变得困难。未来应该通过在每一步选择正确的推理路径来缩小搜索空间，然后根据搜索到的路径选择正确答案。

上下文学习：自动优化提示
由于LLM的上下文学习性能严重依赖提示，应该专注于如何根据问题自动优化表格推理的提示。单步推理的提示设计研究只在有限范围内比较了人为标记的指令和示例的候选提示，性能提升有限。未来应该根据问题和表格自动生成和优化提示。

指令设计：自动细化设计并验证
根据第3.2节的讨论，如何更充分利用指令遵循能力来降低每个表格推理问题的难度，值得关注。当前的模块化分解方法需要事先手动将任务分解为不同的模块，但这种分解只能适用于某些表格任务。固定分解过于通用，没降低推理难度。未来应该根据问题自动分解任务，这种分解适用于所有表格任务，无需人工参与，大大减少单步推理的难度。
对于工具使用的方法，当前工作没注意到调用工具的过程可能引入额外错误。未来应该包括一个工具验证过程，提示LLM修订工具，以确保工具能正确应用，从而提高准确性。

逐步推理：减轻多步推理中的错误级联
现有逐步推理研究没考虑错误级联问题，导致错误中间结果引发后续错误。Tree-of-Thought（ToT）提示方法通过在多步推理中保持多个可能的中间步骤来缓解这个问题。所以，如何将ToT应用到表格推理任务，值得未来关注。

5.2 扩展应用

本小节分析真实场景中表格推理任务的要求，并提出未来可扩展的方向。

多模态：加强图像表格和问题之间的对齐
多模态设置要求模型能自动化理解、分类和从文本、视觉等证据中提取信息。因为实际场景中有很多以图像形式存储的表格，直接做光学字符识别（OCR）会因识别错误导致信息丢失，所以需要结合视觉模型更好地理解和推理图像表格。未来可以探索设计结构，将问题中的实体与图像表格中的标题对齐，增强图像和文本之间的语义对齐。

智能体：与更多样和合适的表格智能体合作
智能体是一个能感知环境、参与决策并执行行动的实体。在真实场景中，当LLM面对复杂问题、难以单独解决时，可以和其他智能体（如代码和搜索引擎）合作。不同智能体适合解决不同任务，并带来不同性能变化。未来可以探索更多适合实际场景中不同表格任务的多样化智能体，加强与智能体的合作。

对话：在多轮交互中回溯子表格
对话系统旨在通过会话交互与人类对话。交互时，可能出现模型结果错误和问题模糊等问题，需要多轮对话来纠错。但LLM时代，很少有研究关注多轮对话的表格推理。因此，有必要探索对话中的表格推理。模型需要关注与用户问题相关的子表格，特别是面对大型表格时。在多轮对话中，相关子表格不断变化，未来应该研究如何回溯分解的子表格以获取全部相关信息，防止上一轮子表格不包含所需信息。

检索增强生成：注入与实体相关的知识
检索增强生成（RAG）技术指的是在推理前从大量文档中检索相关信息。由于表格推理任务常面临知识密集型场景，应用中LLM的领域知识可能不够用。未来应该专注于通过检索知识来增强表格推理能力。在表格推理中，LLM可能难以理解表格中某些实体的含义，降低答案准确性。为了解决这个挑战，未来应该检测表格中的未知实体，并注入与这些实体相关的相应知识。

6 结论

本文总结了LLM在表格推理方面的现有研究工作。在LLM时代，前LLM时代的监督微调和结果集成方法仍然有效。此外，LLM时代特有的上下文学习、指令遵循和逐步推理技术，也能用来提升表格推理性能。由于LLM的指令遵循和逐步推理能力，LLM在表格推理任务中超越了前LLM模型。为了激发未来研究，我们探索了提升表格推理性能的潜在方向，还研究了四个未来实际应用的改进方向。最后，我们汇总了GitHub上当前的表格推理资源，并将持续更新。

【参考文献】https://arxiv.org/pdf/2402.08259

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大模型表格推理综述研究现状及未来方向要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题