重温RAG五类分块策略，建议收藏

掌握RAG模型数据分块技巧，能够显著提升大语言模型应用的实际效果与运行效率。本文将从分块策略的关键作用、RAG标准工作流程、五种主流分块方法的详细拆解与配套代码示例，以及常见问题等方面，为你提供一份完整、可操作的专业实战指南。

一、分块策略在RAG中的重要性和价值

在构建高效的大语言模型（LLM）应用时，数据分块是至关重要的预处理步骤。通过将大型数据文件智能分割为适当大小的片段，我们能够为LLM精准提供执行特定任务所需的信息量——既不会因信息过载而影响性能，也不会因信息不足而降低输出质量。分块策略在RAG（检索增强生成）系统中扮演着核心角色，其价值主要体现在三个关键维度：

• 效率优化：显著降低计算资源消耗，提升检索响应速度。
• 相关性提升：增强检索结果的精准度，让匹配内容更贴近用户意图。
• 上下文保持：确保信息的连贯性和完整性，避免断章取义。

同时，在选择分块策略时，需要综合评估以下关键因素：

1. 数据特性：结构化数据与非结构化数据在处理方式上存在显著差异。
2. 查询复杂度：简单查询与复杂多跳查询对分块粒度的要求截然不同。
3. 资源条件：可用计算资源与响应时间要求的平衡，影响策略选择。
4. 性能目标：在响应速度、结果准确性和上下文保持之间的权衡取舍。

小提示： 开始分块前，先明确你的数据类型（如PDF、网页、代码）和查询场景（如问答、摘要、代码生成），这能帮你快速定位最合适的策略，避免走弯路。

二、RAG的典型工作流程及分块的作用

RAG的典型工作流程包括以下步骤：

1. 向量存储：将文件分块并编码，存入向量数据库，构建索引。
2. 信息检索：用户输入查询，查询文本同样被编码为向量，在库中搜索相似内容。
3. 增强：将检索到的信息片段整合进发送给LLM的Prompt，丰富上下文。
4. 生成：LLM基于原始问题和增强的上下文生成最终回答，提升输出质量。

如果没有适当的分块，RAG可能会错过关键信息或提供不完整、断章取义的响应。目标是创建在足够大以保留意义和足够小以适合模型处理限制之间取得平衡的块。结构良好的数据块有助于确保检索系统能够准确识别文档的相关部分，然后生成模型可以使用这些部分来生成明智的响应。

常见问题： 为什么分块大小很重要？
答： 块太大可能导致模型处理超限或检索到无关信息；块太小则可能丢失关键上下文，导致回答不完整。通常，块大小建议在200-1000个token之间，但需根据具体模型和任务调整，灵活设定。

三、5种分块策略的详细解析与代码示例

1. 固定大小分块

生成块的最直观、最直接的方法是根据预定义的字符、单词或标记数量将文本拆分为统一的段，操作简单。

优点：

• 实现简单高效，只需按字符数或Token数切分，无需复杂逻辑。
• 确定性结果，相同输入必然得到相同分块，便于复现。

缺点：

• 语义割裂风险，暴力切割可能中断完整语义单元，破坏信息连贯性。
• 关键信息分散，关联内容被分配到不同块，增加检索难度。
• 检索时可能遗漏上下文，导致回答不完整。

def fixed_size_chunk(text, max_words=100):
    words = text.split()
    return [' '.join(words[i:i + max_words]) for i in range(0, len(words), 
    max_words)]
 
# Applying Fixed-Size Chunking
fixed_chunks = fixed_size_chunk(sample_text)
for chunk in fixed_chunks:
    print(chunk, 'n---n')

小提示： 固定大小分块适合数据量巨大、对语义要求不高的场景（如日志分析）。可以尝试设置重叠（overlap）来缓解语义割裂，比如每块重叠50个字符，保留部分上下文。

2. 语义分块

根据有意义的单元（如句子、段落或主题部分）对文档进行分段。接下来，为每个区段创建嵌入。假设从第一个segment及其嵌入开始。如果第一个段的嵌入与第二个段的嵌入具有较高的余弦相似度，则两个段将形成一个块。这种情况一直持续到余弦相似度显著下降。当它出现时，开始一个新的块并重复。

优点：

• 保留句子级别的含义，确保语义连贯性。
• 更好的上下文保留，减少信息断裂。

缺点：

• 块大小不均匀，因为句子的长度不同，难以统一控制。
• 当句子太长时，可能会超过模型中的标记限制，导致处理失败。

def semantic_chunk(text, max_len=200):
    doc = nlp(text)
    chunks = []
    current_chunk = []
    for sent in doc.sents:
        current_chunk.append(sent.text)
        if len(' '.join(current_chunk)) > max_len:
            chunks.append(' '.join(current_chunk))
            current_chunk = []
    if current_chunk:
        chunks.append(' '.join(current_chunk))
    return chunks
 
# Applying Semantic-Based Chunking
semantic_chunks = semantic_chunk(sample_text)
for chunk in semantic_chunks:
    print(chunk, 'n---n')

常见问题： 语义分块需要额外加载NLP模型，会不会很慢？
答： 是的，使用spaCy等工具会带来一定的计算开销。如果数据量不大（比如几千条），可以接受；如果数据量很大，建议使用轻量级分词器或结合缓存策略，提升效率。

3. 递归分块

首先，基于固有分隔符（如段落或节）进行chunk。

接下来，如果大小超过预定义的数据块大小限制，则将每个数据块拆分为较小的数据块。但是，如果chunk符合chunk-size限制，则不会进行进一步的拆分。

优点：

• 语义完整性高，优先在自然边界（如段落结尾）分块，保持上下文连贯。
• 更好的上下文保留，减少关键信息丢失。

缺点：

• 实现比固定大小分块更复杂一些，需要更多配置。
• 参数敏感，分隔符顺序和重叠量需精细调优，才能达到最佳效果。

def recursive_chunk(
    text: str,
    separators: List[str] = ["nn", "n", "。", "？", "！", ". ", "? ", "! "],
    chunk_size: int = 500,
    chunk_overlap: int = 50,
) -> List[str]:
    """
    递归分块核心算法
    :param text: 输入文本
    :param separators: 优先级递减的分隔符列表
    :param chunk_size: 目标块大小（字符数）
    :param chunk_overlap: 块间重叠量
    :return: 分块结果列表
    """
    chunks = []
    
    # 终止条件：文本已小于目标块大小
    if len(text) <= chunk_size:
        return [text]
    
    # 按优先级尝试每个分隔符
    for sep in separators:
        parts = re.split(f"({sep})", text)  # 保留分隔符
        parts = [p for p in parts if p.strip()]  # 移除空片段
        
        # 合并片段直到达到chunk_size
        current_chunk = ""
        for part in parts:
            if len(current_chunk) + len(part) <= chunk_size:
                current_chunk += part
            else:
                if current_chunk:
                    chunks.append(current_chunk)
                current_chunk = part[-chunk_overlap:] + part if chunk_overlap > 0 else part
        
        if current_chunk:
            chunks.append(current_chunk)
            
        # 如果成功分块则退出循环
        if len(chunks) > 1:
            break
    
    # 如果没有找到合适分隔符，强制分割
    if len(chunks) <= 1:
        chunks = [text[i:i+chunk_size] for i in range(0, len(text), chunk_size - chunk_overlap)]
    
    return chunks

小提示： 递归分块是LangChain等框架的默认策略，非常实用。建议先设置较大的chunk_size（如500-1000字符），然后根据检索效果逐步调小，找到最佳平衡点。

4. 文档基础结构分块

它利用文档的固有结构（如标题、部分或段落）来定义块边界。

这样，它通过与文档的逻辑部分保持一致来保持结构完整性，让分块更符合阅读习惯。

优点：

• 精准的文档保持，保留文档逻辑单元（如完整表格、代码块、章节），避免结构破坏。
• 划分方式自然，符合人类的阅读和理解习惯，提升检索相关性。

缺点：

• 格式依赖。纯文本文件无法获取结构信息，不同格式需要不同解析器（PDF/EPUB/PPT等），适配成本高。
• 生成的块大小可能差异巨大，某些块可能非常长，超出LLM的处理限制，需要额外处理。

（注意：此策略没有代码示例，因为依赖于具体文档解析库，如pdfplumber、python-docx等，实现方式因格式而异。）

常见问题： 处理PDF时，如何提取结构信息？
答： 可以使用PyMuPDF（fitz）或pdfplumber提取文本和位置信息，结合正则表达式识别标题（如字号、加粗）。对于Markdown或HTML，直接解析标签即可，更加便捷。

5. 基于LLM分块

利用大型语言模型（LLM）自身的理解能力来判断文本的最佳分割点，实现智能分块。

优点：

• 可识别隐含语义边界（如科研论文中的"假设-论证-结论"逻辑结构），分块更精准。
• 多维度上下文感知，能够捕捉深层语义关联。

缺点：

• 资源消耗问题，由于通过LLM在进行分块，计算成本高，速度慢，不适合大规模数据。
• Prompt的设计复杂，并且上下文有限制，需要反复调试。

（注意：此方法通常需要调用LLM API，示例代码因模型而异，一般需构造类似“请将以下文本分割成逻辑连贯的段落，每个段落不超过200字”的提示。）

小提示： 基于LLM分块适合对精度要求极高、数据量较小的场景（如学术论文智能问答）。建议先用其他策略粗分，再用LLM精调，平衡成本与效果，实现最优解。

总结与建议

以上就是RAG中5种分块策略的详细解析。在选择时，请结合你的数据特性、查询复杂度和资源条件。推荐从递归分块入手（因为它兼顾语义完整性和灵活性），然后根据实际效果逐步调整参数或尝试其他策略。记住，没有“最好”的分块方法，只有“最合适”的方案，关键在于持续优化与迭代。

如果你需要更深入探讨其他细分的分块策略（如滑动窗口、基于注意力分块等），欢迎持续关注后续内容，获取更多实战技巧。

点击分享 让更多人看到

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：重温RAG五类分块策略，建议收藏要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题