RAG五种分块策略详解：技术原理、优劣对比与场景选型

RAG技术如何突破分块策略瓶颈？详解五种分块方法的技术原理与选型指南，助你打造高精度企业级应用。
核心内容：
1. RAG分块策略的三大核心挑战：准确性、召回率与复杂文档解析
2. 五种分块策略的技术原理与优劣对比（固定长度/滑动窗口/语义分割等）
3. 金融医疗等高危场景下的分块选型方法论与工程实践

前言

RAG技术通过融合检索与生成机制，结合高效的检索算法、多模态整合以及系统级优化，有效解决了基础大模型在企业内部落地时面临的诸多难题。例如，将其对接至内部知识库，可实现知识的动态更新与实时交互，显著降低大模型生成不准确信息的风险。更重要的是，这种方式无需微调模型，成本可控，同时能在数据安全与可追溯性方面进行深度把控——通过权限管理，确保敏感信息仅在授权范围内流转，并借助引用标注实现全程可追踪。

然而，在工程化落地的过程中，尤其是在金融、医疗这类高风险领域，“可验证性”与“准确性”往往比单纯的“智能性”更为关键。而分块策略，正是RAG系统的核心环节——选择得当与否，直接影响检索效率与最终生成质量。

我们先简要回顾一下RAG的基本工作流程：

RAG工作流程（图片来源：DailyDoseofDS）

在实际应用中，文档可能体积庞大或结构复杂。在流程的步骤①中，需要对文档进行分块处理，将大文档拆解为更小、更易管理的单元，确保文本能够适配嵌入模型的输入尺寸限制。

但如果分块策略选择不当，最终效果往往远低于预期。答案的可信度不足、关键信息遗漏、复杂文档提取困难——这些问题会直接拖累RAG系统的可靠性与实用性。

RAG分块应用中普遍存在的问题

准确性：答案可信度不足

幻觉问题

即便检索到了相关文档，大模型仍可能脱离文本内容自行编造答案，尤其是在文档信息本身模糊或存在矛盾的情况下。例如，用户询问“某基金近3年收益率”，模型可能随意生成一个数字，而非如实引用检索报告中的实际数据。

检索噪声干扰

相似度搜索返回的文档片段中，可能混入无关信息，模型在生成答案时容易被带偏。比如，检索回10篇文档，其中3篇主题相关但数据有误，模型就可能结合错误信息给出一个看似合理的答案。

细粒度理解缺失

模型难以精准把握数字、日期、专业术语在具体语境中的含义，容易误用关键信息。例如，将“预计2025年增长10%”当作历史数据来使用。

召回率：关键信息漏检

语义匹配局限

传统向量搜索依赖语义相似度，但如果用户提问与文档表述差异较大——比如用户问“钱放货币基金安全吗？”，而文档标题为《货币市场基金信用风险分析》——语义匹配就可能失效。

长尾知识覆盖不足

那些低频、冷门的知识点，由于嵌入表示不够充分，在向量空间中难以被有效检索。例如，某小众金融衍生品的风险说明文档，可能根本不会被召回。

多跳推理失效

某些问题需要将多个文档片段组合起来才能回答，例如“美联储加息如何影响A股消费板块？”就需要先查询加息机制，再关联到消费板块。单次检索很难将这些分散的知识点串联起来。

复杂文档解析：信息提取瓶颈

非结构化数据处理

• 表格/图表：文本分块会直接破坏表格结构，导致行列关系丢失，例如财报中的利润表。
• 公式/代码：数学公式或程序代码被错误分段，语义完整性大打折扣。
• 扫描件/图片：OCR识别错误率较高，手写体或模糊文档尤其令人棘手。

上下文割裂问题

固定长度分块（如512字符）很可能切断关键上下文：

分块1结尾：“...风险因素包括：”

分块2开头：“利率波动、信用违约...”——模型无法将分块1的提示语与分块2的内容关联起来。

文档逻辑结构丢失

标准分块策略往往忽略文档中章节、段落、标题之间的层级关系，影响知识图谱的构建。例如，将“附录”中的备注误认为正文的结论。

RAG的分块策略与选择

选择正确的分块策略，是解决RAG在实际应用中准确性、召回率以及复杂文档解析等核心痛点的最直接、最有效的方法，也是搭建RAG系统时最关键的一环。常见的分块策略包括：固定大小分块、语义分块、递归分块、基于文档结构的分块、基于LLM的分块。

RAG五种分块策略（图片来源：DailyDoseofDS）

接下来，我们将围绕这五种策略，系统梳理各自的基本原理、实现步骤、优缺点和适用场景。

固定大小分块

基本原理

固定大小分块，是将文本按固定长度（如字符数、单词数或token数）直接切分。每个块的大小一致，有时会通过重叠部分内容来保留上下文的连贯性。例如，将文档每256个字符切一块，重叠20个字符，以尽量减少边界处的信息丢失。

固定大小分块示意（图片来源：DailyDoseofDS）

实现步骤

• 预设参数：定义块大小（如256 token）和重叠比例（如20 token）。
• 切分文本：按固定长度分割文本，相邻块可部分重叠。
• 生成块列表：输出所有块作为独立单元。

主要优点

• 实现简单：无需复杂算法，代码编写高效。
• 标准化处理：块大小一致，便于批量处理和向量化。
• 资源友好：适合大规模文本处理，计算成本低。

主要缺点

• 语义断裂：可能在句子或概念中间断开，破坏上下文完整性。
• 信息冗余：重叠区域会导致重复存储和计算。
• 适用性受限：对结构化文本（如代码、技术文档）效果不佳。

适用场景

• 非结构化文本（如新闻、博客）的初步处理。
• 对实时性要求高、需要快速切分的场景。

场景示例

[原文档]  
"2023年Q3净利润同比增长5.2%（详见附录Table 7）"  
[分块1] "2023年Q3净利润同比增长5.2%（详见"  
[分块2] "附录Table 7）"  # 关键数据来源丢失！

语义分块

基本原理

语义分块，是根据句子、段落、主题等具有语义内涵的单位对文档进行分段，然后创建嵌入向量。如果第一段的嵌入与第二段的嵌入之间余弦相似度较高，则这两段合并为一个块。通过合并相似内容，确保每个块表达的语义内容是完整的。

这种策略的优点是，每个分块内容更丰富，能提高检索准确性，让大模型输出更连续、更相关的响应。但缺点也很明显——它依赖一个阈值来判断余弦相似度是否显著下降，而这个阈值在不同类型的文档中可能需要不同的参数设置。

语义分块流程

语义分块示意（图片来源：DailyDoseofDS）

实现步骤

• 分句/分段：将文本拆分为句子或段落。
• 生成嵌入：为每个单元计算向量表示。
• 相似度计算：依次比较相邻单元的余弦相似度。
• 动态合并：相似度高于阈值则合并；相似度骤降则另起一块。

主要优点

• 语义完整性：保留自然语义结构，提升检索准确率。
• 上下文敏感：能处理复杂的逻辑关系，如因果、对比。
• 生成质量：检索到的块更连贯，有利于LLM生成精准回答。

主要缺点

• 计算复杂度高：需要多次向量化计算和相似度比较。
• 阈值依赖：相似度阈值需人工调试，不同文档参数可能不同。
• 实现门槛高：依赖高质量的嵌入模型和相似度算法。

适用场景

• 高精度问答系统，如法律、医疗领域。
• 研究论文、行业分析报告等专业文档。
• 需要保留上下文逻辑的复杂文档（如论文、技术报告）。

场景示例

[分块]  
区块1: "货币政策的宽松将推动市场流动性提升。"  
区块2: "但需警惕通胀反弹带来的政策转向风险。"  
# 每个区块都是完整语义单元

递归分块

基本原理

递归分块，先按主题或段落初步划分，然后对超长的块递归细分，直到满足大小限制为止。它融合了结构化和非结构化的处理逻辑，与固定大小分块不同，这种方法能保持语言的自然流畅性，保留完整的内容语义。

递归分块流程

递归分块示意（图片来源：DailyDoseofDS）

实现步骤

• 粗粒度切分：先按段落、标题或主题初步划分大块。
• 检查大小：判断块是否超过预设长度（如1024 token）。
• 递归细分：超长时，再按固定大小或语义逻辑进一步切分。
• 终止条件：块大小符合要求时停止递归。

主要优点

• 灵活性强：在结构完整性和大小限制之间找到平衡。
• 适应复杂内容：处理长文档（如书籍、长篇论文）时表现不错。
• 多策略融合：可结合固定大小或语义分块来优化细分。

主要缺点

• 块大小不均：不同层级的块大小可能存在较大差异。
• 逻辑断裂风险：递归过程中可能破坏原文的自然段落结构。
• 实现复杂：需要设计递归终止条件和分块策略。

适用场景

• 长文档处理（如企业年报、学术论文）。
• 书籍、技术手册等层级化文档。
• 需要兼顾结构化与非结构化内容的场景，如包含嵌套结构的合同文本。

场景示例

1. 摘要 --> [保留完整]  
2. 行业分析 --> [按子章节切分]  
   2.1 供需格局 --> [按段落切分]  
   2.2 竞争态势 --> [按段落切分]  
3. 附录表格 --> [特殊处理]

基于文档结构的分块

基本原理

基于文档结构分块，是利用文档自带的组织结构（如标题、章节、列表、表格）进行切分，每个结构单元作为一个块。它通过与文档的逻辑部分对齐来保持结构完整性。这种策略适用于结构清晰的文档，但现实中文档的结构可能比想象中复杂。此外，某些章节内容大小不一，容易超过块的大小限制，此时需要结合递归拆分再做合并处理。

基于文档结构分块流程

基于文档结构分块示意（图片来源：DailyDoseofDS）

实现步骤

• 识别结构元素：解析文档中的标题、段落、小节等标记（如Markdown、XML）。
• 按结构切分：将每个结构单元（如“引言”、“结论”）独立成块。
• 处理超长部分：若某个结构单元过大，再结合递归或固定大小分块细化。

主要优点

• 逻辑清晰：保留文档的层次化结构，方便定位信息。
• 检索高效：用户可通过标题快速锁定相关内容。
• 格式兼容性：适合结构化文档，如技术手册、报告。

主要缺点

• 依赖格式标准化：对非结构化文本（如自由写作）效果较差。
• 预处理复杂：需要解析文档格式（如LaTeX、HTML），增加实现难度。
• 灵活性不足：难以处理混合结构的内容，如图文混排。

适用场景

• 结构化文档，如财报中的表格数据、技术文档里的代码块、合同中的条款列表。
• 需要按章节检索的场景，如法规数据库。
• 任何包含丰富格式标记的内容。

场景示例

[原始PDF表格]  
| 项目          | 2023Q3 | 同比  |  
|--------------|--------|-------|  
| 营业收入      | 5.2亿  | +12%  |  
[结构化分块]  
{  
  "type": "table",  
  "title": "利润表摘要",  
  "data": [["项目", "2023Q3", "同比"], ["营业收入", "5.2亿", "+12%"]]  
}  # 整表作为独立区块

基于LLM的分块

基本原理

基于LLM的分块，是直接将原始文档输入大语言模型，让模型智能生成语义块。利用LLM强大的语义理解能力，动态划分文本，保证分块语义的准确性。但这种策略对算力的要求最高，对时效性和性能都会带来不小的挑战。

基于LLM分块流程（图片来源：DailyDoseofDS）

实现步骤

• 输入文档：将完整文档送入LLM（如DeepSeek、GPT）。
• 生成块指令：通过提示词引导模型按语义划分块。
• 示例提示词：“请将以下文档按语义划分为多个块，每个块需包含完整主题。”
• 输出块列表：模型返回划分后的块，可能包含逻辑标签（如“引言”、“方法论”）。

主要优点

• 高度智能化：能适应复杂、非结构化的文本（如自由写作、对话记录）。
• 动态适应性：根据文档内容自动调整块大小和逻辑。
• 生成质量：块语义连贯，减少人工干预。

主要缺点

• 计算成本高：依赖高性能LLM，资源消耗大。
• 可解释性差：模型决策过程难以追溯，可能产生不可预测的块。
• 依赖模型能力：效果受限于LLM的训练数据和语义理解能力。

适用场景

• 非结构化文本，如访谈记录、会议纪要、用户评论、社交媒体内容等。
• 需要高级语义分析的场景，如跨领域知识整合。

场景示例

[原始分散段落]  
段落1: "A公司宣布收购B公司..."  
段落2: "交易金额达50亿美元..."  
段落3: "B公司核心资产为..."  
[LLM智能分块结果]  
"并购事件：A公司以50亿美元收购B公司（核心资产为...）"  # 跨段落聚合关键信息

五种RAG分块策略总结对比

RAG分块策略选择建议

• 处理长文档时（如法律合同、表格、公式、技术手册），建议结合递归与结构分块。
• 对生成质量要求高、文档语义复杂时（如论文、医疗问答），优先考虑语义分块。
• 面对非结构化或混合内容（如多模态文档），可尝试LLM分块。
• 快速部署或资源受限时（如社交媒体、轻量级应用），固定大小分块仍是稳妥的选择。

分块策略选择决策树

具体实施过程中，需根据实际需求和文档类型灵活选择分块策略，或组合多种方法（如“结构分块+语义细分”）以达到最佳效果。

RAG面临的挑战与前沿探索

深层待解决问题

知识关联缺失

当前的检索机制仍停留在单点语义相似度，难以构建跨文档的知识图谱。例如，“公司A收购事件”与“行业竞争格局变化”之间的隐含关联很难被捕捉到。

推理-检索割裂

生成模型无法主动指导检索过程，形成的是“检索→生成”的单向流水线，而非动态交互式推理。例如，模型若能反问“您需要对比哪两个季度的数据？”，就能大幅优化检索目标。

多模态理解不足

现有RAG主要处理文本，对文档中的图表、公式、流程图等信息利用率极低。例如，研究报告里的股价趋势图，当前的检索系统根本理解不了。

可信度量化困境

缺乏统一标准来评估答案的可靠性，用户难以判断“何时可以信任RAG的输出”，这在金融等场景下可能带来直接的经济损失。

长上下文建模缺陷

当检索返回大量片段（如20篇文档）时，模型对超长提示词尾部信息的忽略率会显著上升。

解决路径与前沿探索

检索增强

• 混合检索：融合语义搜索（Embedding）与关键词搜索（BM25），提升召回率。
• 查询扩展：用LLM将用户问题改写为更专业的查询（如“钱放余额宝安全吗？”→“货币基金信用风险评估”）。
• 递归检索：实现多跳推理（先查“美联储加息”，再查“科技股估值模型”）。

生成控制

• 强制引用：要求模型标注答案来源的具体位置（如“源自2023年报第5页”）。
• 置信度阈值：对低置信度的答案触发人工审核流程。
• 结构化解构：将复杂问题拆解为子问题，分步检索生成。

优化分块

• 语义分块：按句子或段落边界切分，而非固定长度。
• 结构感知：保留表格、标题的层级关系（利用Markdown或XML标签）。
• 动态重叠：相邻块部分重叠，避免上下文断裂。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：RAG五种分块策略详解：技术原理、优劣对比与场景选型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题