大语言模型应用分块策略详解

优化LLM应用性能的关键：掌握高效分块策略，提升信息检索与智能体响应质量

在开发基于大语言模型（LLM）的应用时，如何把海量文本高效地整理并存入向量数据库，直接影响信息检索的准确度与智能体的响应速度。分块（Chunking）正是这个环节的核心技术。本文将从原理、方法、选型策略到实战技巧，系统拆解分块的方方面面，帮助您为不同的LLM应用场景找到最优解。

什么是分块（Chunking）？

在构建基于大语言模型（LLM）的应用时，分块（Chunking）是指将较长的文本切分成较小的片段，这些片段被称为“块”。

这是一项重要的预处理技术，有助于优化最终存入向量数据库中的内容的相关性。关键在于找到大小适中的块：它们既要足够大以承载有意义的信息，又要足够小以确保应用的高性能以及检索增强生成（Retrieval Augmented Generation, RAG）、智能体（Agentic）工作流程等任务的低延迟响应。

本文将探讨多种分块方法，并讨论在选择块大小和方法时需要权衡的利弊。最后，我们将提供一些建议，帮助您确定最适合您应用的最佳块大小和方法。

为什么我们的应用需要分块？

对于任何涉及向量数据库或LLM的应用来说，分块是必不可少的，主要原因有两个。首先，是为了确保嵌入模型能够将数据适配到其上下文窗口内；其次，是为了确保块本身包含搜索所需的关键信息。

所有嵌入模型都有上下文窗口，它决定了可以处理成固定大小向量的标记（Token）数量。超出此上下文窗口可能意味着多余的标记会被截断或丢弃，然后才被处理成向量。这可能带来潜在的危害，因为重要的上下文可能会从文本的表示中移除，从而导致在搜索时无法被检索出来。

此外，仅仅为模型调整数据大小是不够的；生成的块必须包含与搜索相关的信息。如果某个块中的句子脱离上下文后毫无用处，那么在查询时很可能无法被检索出来！

分块在智能体应用和检索增强生成（RAG）中的作用

智能体（Agent）可能需要访问数据库中的最新信息，以便调用工具、做出决策和响应用户查询。从数据库搜索返回的块会在会话期间消耗上下文，并为智能体的响应提供基础。

我们使用嵌入的块来构建基于智能体可访问的知识库的上下文。这个上下文使智能体能够基于可信信息进行 grounding。

与语义搜索依赖良好的分块策略来提供可用输出类似，智能体应用需要有意义的信息块才能继续。如果智能体被误导，或者提供的信息缺乏足够的上下文，它可能会浪费标记生成幻觉或调用错误的工具。

此外，长上下文的嵌入模型和LLM可能会遇到“中间丢失（Lost-in-the-Middle）”问题，即即使相关信息包含在生成中，埋藏在长文档中的内容也可能会被遗漏。解决此问题的方法是确保将最佳数量的信息传递给下游LLM，这必然会降低延迟并保证质量。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大语言模型应用分块策略详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题