Dify知识库召回率评估与测试方法详解

评估Dify知识库的召回率，不能仅依赖理想环境下的一两次测试就匆匆下结论。其真正的考验往往出现在复杂的工业场景之下——比如，需要从上万页设备手册、安全规程或PLC逻辑图中，精准定位到那句关键的操作说明。为了解决术语歧义、缩写混淆及长尾查询等真实痛点，需要一套系统且严谨的测试方法。下面直接介绍一套标准化的操作流程。

准备高质量测试问题集

建议从知识库覆盖的业务场景中提取15至30个典型问题，每种类别至少包含3个。例如：精确型号查询类（如“6204轴承的动态载荷是多少？”）、表述模糊类（如“如何提升PLC的稳定性？”）、缩写扩展类（如“HMI出现黑屏如何处置？”）。关键之处在于：测试问题必须尽量脱离文档原有的标题和段落结构，模拟用户真实的口语化或非结构化输入。否则，测试得出的召回率会虚高，这并非真正的检索能力，而是由于问题与原文的“记忆泄露”所致。

同时，建议为每个问题精准标注其标准答案的出处信息，例如“答案位于《XX设备手册_V3.2.pdf》第47页表格第3行”。这样，在后续比对召回的内容块时，就能快速确认是否包含原文的关键信息。

执行单点召回测试

登录Dify 控制台，进入知识库模块，选择目标库后，点击右上角的“召回测试”功能入口。在左侧输入框中粘贴第一个测试问题，点击“测试”。右侧将立即显示按分数倒序排列的 Top-K 召回内容块。

逐一检查这些内容块，确认三个关键要素：是否完整包含标准答案原文、来源文档名是否正确、页码或章节信息是否匹配。任一项不符，即判定为“漏召”。这里存在一个常见陷阱：若某个内容块分数较低（如0.32）但确实含有答案，而更高分块反而没有，这表明相似度阈值可能设置过高。但在此情况下，建议先确认该内容块是否因文本切分策略不当（如表格被截断）导致语义残缺，从而造成向量表征失真，再考虑是否调整阈值。

批量验证并计算召回率

第一步：将所有测试问题逐条录入召回测试界面，并保存每次的返回结果（截图或导出 JSON 日志均可）。

第二步：人工标注每个问题的“应召黄金片段”——即唯一能支撑准确回答该问题的最短文本块及其在知识库中的唯一 ID。

第三步：统计“黄金片段”是否出现在 Top-K 的返回列表中。例如，在15个问题中，有12个的黄金片段排在前3位，那么 NDCG@3 的计算结果就是 12 ÷ 15 = 0.80。

第四步：对每一个漏召的问题进行归因分析，排查具体原因。是切分策略导致的“信息断层”（如代码块被强行切开）、分词阶段的“术语失效”（如“变频驱动单元”被切分工具错误拆分）、还是向量模型的“领域漂移”（如“轴向跳动量”的嵌入表示偏离了标准的语义空间）？将这些问题记录到归因表中，为后续优化提供明确方向。

虽然步骤较为系统，但实际操作非常直接——把文件拖入平台即可。

调整参数并重测对比

方法一：调整 Top-K 值
在保持其他参数不变的前提下，分别测试 Top-1、Top-3、Top-5 三组数据。若 Top-1 召回率仅为 58%，而 Top-3 跃升至 84%，则说明当前的排序模型（rerank）缺失或权重过低，建议启用 bge-reranker-large 并设置 top_k：5。

方法二：调节 Score 阈值
将 Score 从默认的 0.4 逐步降低至 0.25，同时观察误召回率的变化。当阈值降至 0.3 或更低时，若出现大量无关文档（例如搜索“HMI 黑屏”却召回“电机接线图”），则大概率是 BM25 权重过低，或 query expansion 规则对语义产生了污染。

方法三：切换混合检索权重
在知识库设置→检索设置中，将 keyword_weight 从 0.3 调整至 0.5，重新执行测试集。特别关注那些精确型号类问题（如“X200监护仪的报警阈值”）的召回率提升幅度。在工业场景下，这类查询对检索准确度的敏感度通常高于语义模糊类问题。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Dify知识库召回率评估与测试方法详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题