文本分块方法测评：LumberChunker、语义分块等

在RAG系统中，将模型生成与上下文相关文档结合以提升准确性已是共识，但一个经常被忽视的细节——文本如何切分成“块”，却直接决定了检索质量。这个问题看似基础，但处理得当与否，最终效果的差异非常显著。

首先梳理一下用于问答实验的RAG Pipeline中的常用技巧：在混合检索方面，BM25取Top3，密集检索取Top15，排序时把BM25的Top1放在最前面，Top2-3放在最后；在大模型重排序时，如果上下文块数超过六个，就从中间点开始反转块的顺序。这些技巧单独看都颇为有效，但真正决定系统上限的，仍然是分块策略本身。

LumberChunker这种方法颇具创新性——它直接让大语言模型（LLM）对文档进行动态分割，确保每个块在语义上独立成篇。其背后的逻辑非常直观：固定大小的块往往无法准确切分，如果内容块的大小能根据语义变化灵活调整，检索效率自然会显著提升。具体实现分为三步：首先，按段落将文档切分；其次，通过不断追加连续的段落块，组成一个组（Gi），直到累计的token数超过预设阈值θ；最后，将这个组交给Gemini，让它判断从哪一段开始出现明显的内容转折，从而确定当前块的结束位置及下一块的起始点。整个过程在文档中循环重复，直至全部切分完毕。

实验数据非常亮眼。在包含3000个问答对的GutenQA数据集上，使用不同粒度的问题进行测试，LumberChunker在DCG@20指标上比最接近的竞争者——循环分块（Recursive Chunking）高出7.37%。其他参与对比的基线包括：语义分块（Semantic Chunking）、段落级（Paragraph-Level）、HyDE、命题级（Proposition-Level）。无论是DCG@k还是Recall@k，LumberChunker在各列中基本都位列第一。

当LumberChunker被集成到完整的RAG流程后，其效果依然稳定，优于所有其他分割方法和竞争基线。

当然，它也存在一些不足。主要体现在两个方面：一是每次都需要调用大模型，导致成本和时间开销远高于传统方法；二是它专门针对叙事文本设计，对于结构清晰的技术文档或表单类内容，可能并非最佳选择。

附录：

LumberChunker Gemini提示词示例（用于书籍《小熊维尼》由A. A.米尔恩著）

与表2中的例子不同，表3段落中的代词“He”无法准确共指，导致命题（propositions）存在一定模糊性。因此，如果用户提出“埃隆·马斯克家族中谁曾经做过牛仔表演者？”这样的问题，一个仅使用命题作为检索单元的模型将无法给出准确的回答。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：文本分块方法测评：LumberChunker、语义分块等要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题