向量数据库在知识库检索中的应用

向量数据库是什么？一文带你理解向量数据库的核心原理与应用场景

简单来说，向量数据库是一种专门用于存储和检索嵌入向量（embedding）的数据库系统。听起来可能有些抽象，但拆解开来看并不复杂。

传统关系型数据库擅长的是精确匹配，例如：

where user_id = 123

而向量数据库的强项则截然不同——它专注于语义匹配，例如：

找出和这个问题语义最接近的 5 段文档

一个依靠数值查询，另一个依靠含义检索，二者的设计方向本质不同。

为什么需要向量数据库？——从语义搜索到高效匹配

嵌入（Embedding）技术会将文本转换为高维向量，你可以把它看作是为每段内容绘制了一幅“语义地图”。例如：

"登录失败" -> [0.12, -0.45, 0.87, ...]

当文档数量达到成千上万条时，想要快速定位“语义最接近”的向量，传统数据库会变得力不从心。这正是向量数据库的价值所在——它专门针对“距离最近”的近似搜索场景进行了深度优化。

向量数据库的常见能力

• 存储向量
• 相似度搜索
• topK 检索
• metadata 过滤
• 增量更新
• 删除和重建索引

常见能力详解

存储向量

传统数据库通常存储文本、数字、日期等常规字段；而向量数据库除了保存原始内容外，还会额外存储对应的嵌入向量。一条典型的数据记录如下：

{"id": "chunk-001", "text": "用户登录失败时需要检查账号状态。", "embedding": [0.12, -0.45, 0.87]}

这里的 embedding 可以理解为该文本在“语义空间”中的坐标位置。

相似度搜索

相似度搜索并非基于关键词的精确匹配，而是通过语义接近度来查找内容。举例来说：用户提问“为什么登录不了？”，即使原文中未出现完全相同的字词，只要语义相近（比如“用户登录失败时需要检查账号状态”），就能被系统检索出来。用代码表示为：

const queryEmbedding = embed("为什么登录不了？")
const results = await vectorDB.search({vector: queryEmbedding})

topK 检索

topK 的含义很直观：只返回相似度最高的前 K 条结果。例如：

const results = await vectorDB.search({
vector: embed("为什么登录不了？"),
topK: 3
})

当 topK = 3 时，系统只会返回最相关的 3 段文档。返回结果可能如下：

[
{ "id": "chunk-001", "score": 0.92 },
{ "id": "chunk-008", "score": 0.87 },
{ "id": "chunk-015", "score": 0.81 }
]

其中 score 代表相似度分数，数值越高表示语义越接近。

metadata 过滤

metadata 是附属于向量之外的额外信息，用于缩小搜索范围。例如，如果你只想检索 auth.md 文件中的内容：

const results = await vectorDB.search({
vector: embed("为什么登录不了？"),
topK: 5,
filter: {file: "auth.md"}
})

常见的 metadata 字段包括文件来源、章节、模块等：

{"file": "auth.md", "section": "登录排查", "module": "account"}

它的作用类似于传统数据库中的 where 条件——先进行过滤，再执行搜索，从而显著提升效率。

增量更新

当文档内容发生变更时，无需重建整个知识库。更高效的做法是只更新变化的那部分数据块（chunk）：

await vectorDB.upsert({
id: "chunk-001",
text: "用户登录失败时需要检查账号是否被冻结。",
embedding: embed("用户登录失败时需要检查账号是否被冻结。"),
metadata: {file: "auth.md", section: "登录排查"}
})

upsert 的含义是：如果 id 已存在则更新，否则插入新记录。

删除和重建索引

如果某个文件被删除，其对应的向量也需要同步清理：

await vectorDB.delete({filter: {file: "auth.md"}})

但如果切分规则、嵌入模型或 metadata 结构发生了较大调整，则必须重建索引。重建过程大致如下：

await vectorDB.dropIndex()
await vectorDB.createIndex()
for (const chunk of chunks) {
await vectorDB.upsert({id: chunk.id, text: chunk.text, embedding: embed(chunk.text), metadata: chunk.metadata})
}

可以理解为：先清空旧的语义搜索目录，再按照新规则重新生成索引。

常见向量数据库产品

• Qdrant
• Milvus
• Chroma
• LanceDB
• pgvector
• Weaviate

数据通常长这样

{"id": "chunk-001", "text": "用户登录失败时需要检查账号状态。", "embedding": [0.12, -0.45, 0.87], "metadata": {"file": "auth.md", "section": "登录排查"}}

总结

一句话概括：向量数据库 = 专门用于存储嵌入向量，并按语义相似度进行搜索的数据库系统。它并非什么高深莫测的技术，而是为“语义搜索”这一核心需求量身打造的存储引擎。