SPLADE：让搜索引擎更懂语义的稀疏检索模型

一句话解释

SPLADE是一种让搜索引擎既能准确匹配关键词、又能理解用户意图的AI模型，它把句子转换成只保留重要单词的稀疏向量，并利用深度学习提升匹配效果。

为什么会被关注

传统搜索（如BM25）依赖精确的词频统计，对同义词和上下文无能为力。稠密检索（如双编码器）用向量表示语义，却丢失了精确词匹配能力，且难以解释。

SPLADE同时具备两种优势：通过预训练语言模型（如BERT）给文档词汇赋予语义权重，输出高维稀疏向量，可直接与倒排索引结合，在精度、效率和可解释性上取得平衡。

在多种标准检索基准（如MS MARCO、TREC）上，SPLADE的NDCG和Recall指标均显著优于BM25，并且接近或超过纯稠密模型，成为工业界和学术界的热门方案。

核心逻辑

SPLADE的核心思想是利用Transformer编码器（如BERT）将查询和文档中的每个词映射到一个巨大的词汇表空间，并通过一个“门控机制”只保留对语义贡献最大的少数词汇。

具体来说，模型会计算每个词与词汇表中每个词的关联分数（类似注意力），然后通过稀疏化函数（如top-k、log-sigmoid）让大部分分数变为0，最终得到一个高维却稀疏的向量。

这个稀疏向量的每个非零维度对应一个具体的词，数值代表了该词在文档中的“重要性”。检索时，SPLADE可以直接与传统的倒排索引配合，用稀疏向量的点积或余弦相似度打分。

常见场景

企业知识库搜索：当员工搜索“预算审批流程”时，SPLADE能匹配到包含“经费申请”“审批步骤”等不同表述的文档，同时保留“预算”等原词匹配的精确性。

问答系统：用户问“如何重置密码”，系统能精准召回标题为“修改账户密码步骤”的文档，而不会因为语义相似而误推到“忘记用户名”。

电商商品搜索：用户输入“轻薄笔记本”，SPLADE既能匹配“超薄”“轻便”等描述，又能抓取明确包含“笔记本”的标题，避免召回手机壳等无关商品。

容易混淆的点

SPLADE vs 稠密检索（如DPR）：稠密检索用固定维度（768/1024）的稠密向量，不保留具体词汇信息，难以直接解释打分原因；SPLADE的稀疏向量维度与词汇表大小相同，每个维度都对应一个明确词，可解释性更强。

SPLADE vs ColBERT：ColBERT也使用了BERT，但采用“晚交互”（late interaction）方式，计算查询词与文档词的所有对齐分数；SPLADE则先将文档压缩为稀疏向量，检索时只需一次点积，效率更高。

SPLADE vs BM25：BM25基于词频和逆文档频率，没有语义理解；SPLADE通过预训练模型为同义词和上下文信息分配权重，能匹配“汽车”和“轿车”这类语义相关的词，而BM25做不到。