Chunking（数据分块）
Chunking 是一种将长文本或大数据切割成小块（Chunk）的策略，帮助大语言模型在有限上下文窗口内高效处理信息。它直接影响检索增强生成（RAG）的效果，是构建高质量 AI 应用的必修课。
一句话解释
Chunking 就是把一段超长的文章或数据切成若干个小块（Chunk），让 AI 模型能一次处理完而不被信息量撑爆。你可以把它想象成拆解一本厚书：先分成章节，再切出关键段落，模型读起来才高效。
为什么会被关注
大模型有上下文窗口限制（比如 4K、8K 或 128K 个令牌），超出范围就无法直接理解。Chunking 通过合理切分，让模型只加载相关片段，既节省计算资源又提升回答精度。
尤其在 RAG（检索增强生成）应用中，文档必须先切块再存进向量数据库。如果切得太碎，信息丢失；切得太大，检索噪声多。因此 Chunking 成了影响系统质量的关键变量。
核心逻辑
Chunking 的核心是“语义完整性与尺寸限制的平衡”。常见方法有固定长度切分（按字符或令牌数）、递归切分（先按段落再按句子）、以及基于语义的切分（用嵌入模型判断边界）。
优秀的分块策略会保留相邻句子的逻辑关联，避免把一个完整的含义割裂到两个块里。同时要考虑模型令牌上限和检索召回率，通常块大小在 200-1000 个令牌之间。
常见场景
知识库问答：将企业文档（手册、报告）切块后存储，用户提问时检索最相关的几个块送入大模型生成答案。
长文本摘要：先切块分段摘要，再合并摘要结果，避免一次性处理超长文本导致的遗漏。
代码补全与理解：将代码库按函数、类切块，帮助模型精确理解局部逻辑。
容易混淆的点
Chunking ≠ Tokenization。Tokenization 是模型把文本转成数字表示，由模型内置分词器完成；Chunking 是人为或程序策略，属于上层应用设计。
Chunking 不是切得越细越好。过度切分会破坏语义连贯性，导致检索结果碎片化；太粗则可能一块就塞满上下文窗口，失去灵活检索的优势。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词RAG（检索增强生成）是一种将信息检索与大语言模型生成能力相结合的技术范式。它让模型在回答前，先从外部知识库中查找相关文档，然后基于这些检索到的准确信息进行生成，从而显著提升回答的准确性、时效性和可追溯性。
上下文窗口是大型语言模型（LLM）在单次处理时能够“看到”和参考的文本信息总量。它就像模型的“工作记忆区”，决定了AI能记住多长的对话历史、理解多复杂的文档，是影响模型实际应用效果的核心参数。
令牌限制是大型语言模型处理单次请求时所能接受和生成的文本总量上限，它直接决定了模型能记住多长的对话历史和生成多长的回复，是影响AI应用体验的核心技术参数之一。
向量数据库是一种专门为存储和检索高维向量数据而设计的数据库。它通过将文本、图像、音视频等非结构化数据转化为数学向量（即一组数字），并计算向量间的“距离”来衡量相似性，从而实现高效的相似性搜索。它是构建AI应用，如智能问答、推荐系统和内容检索的核心基础设施。