智联招聘采用Milvus向量召回提升招聘匹配效率

在智联招聘平台上，求职者与招聘者之间如何实现高效匹配，始终是平台的核心命题。招聘方发布职位希望精准触达合适人才，求职者上传简历期待找到理想岗位。在这样复杂的双向匹配场景中，我们的目标非常明确：为双方提供最精确的匹配结果。具体到搜索推荐环节，候选人或职位列表会经过召回、粗排、精排、重排等一系列筛选流程，从亿级候选集中挑选出最相关的简历或职位进行展示。在召回阶段，除了传统的规则召回策略，我们还引入了向量召回技术。本文重点探讨其中一种向量召回方式——用职位信息检索简历，即JD2CV。为便于叙述，下文将职位简称为JD，简历简称为CV。

向量召回实现方式

模型训练样本如何选取？

正样本的获取较为直观：直接从系统日志中提取具有正向交互行为的JD-CV对。负样本则分为三类：第一类是batch内的负采样，第二类来自全库随机负采样——全库采样能更真实地模拟实际召回场景。第三类是基于业务规则筛选出的hard负样本，用以增强模型训练的效果。

模型结构如何设计？

我们采用了双塔模型架构：一个塔处理JD的文本信息，另一个塔处理CV的文本信息，各自映射为低维向量。随后通过计算向量间的相似度，并利用对比学习的损失函数进行优化，使相关JD与CV的向量彼此靠近，不相关的向量则相互远离。实践表明，该方案能有效提升匹配精度。

模型离线评估方法？

第一种评估方式是利用模型预测给定的正负样本对，然后计算AUC以及JD维度的GAUC。不过，该方法受限于有限的样本集合，难以全面反映召回模型在真实环境中的表现。为更贴近线上场景，我们换用了两阶段评估方案：先实际执行一次召回操作，再对召回结果进行详细评估。

为支撑该流程，我们调研了多款向量数据库，最终选定了Milvus。原因有三：

• 易用性：API接口简洁，文档丰富，上手快速且集成便捷。同时支持标量过滤与向量相似性搜索相结合，实现更灵活的混合搜索。
• 高性能：依托优化的算法和索引结构，在大规模数据向量检索任务中表现高效，能够满足平台性能需求。
• 社区支持：社区活跃度较高，生态丰富，提供多语言支持和完备工具链，遇到问题可较快找到解决方案。

在评估召回结果时，我们采用了两种方法：

• 体感评估：对不同模型召回结果中各自独有的部分，利用大模型进行体感标注，通过统计对比判断哪个模型表现更优。
• 量化指标：借助召回率、精准率等关键指标，评估模型在实际召回任务中的表现。

Milvus使用及具体评估过程

部署与数据准备

我们采用Milvus官方提供的docker-compose方式部署了2.4.5版本。评估时采集了百万级别的CV数据，单节点部署即可满足需求。同时部署了管控平台Attu，方便加载、删除数据集合，修改索引类型，以及执行向量搜索等操作。为简化数据导入和召回测试，我们还开发了相应接口，使评估流程更加自动化和便捷。

数据准备方面，基于线上JD的流量分布情况，按城市粒度采样部分JD数据，并使用模型生成对应的JD向量。随后对采样城市的全部CV进行向量生成，通过写入接口存入Milvus。为确保评估准确性，索引类型选为FLAT，保证100%召回相关数据。

召回与评估

召回过程是通过JD编号从JD集合中查询对应的JD向量，再利用该向量从CV集合中召回最相似的topK CV，相似度采用内积度量，最终生成一组JD-CV匹配对。

评估环节如前所述，一方面进行体感标注，另一方面根据正向行为记录构建正例集，计算召回率、精准率等指标，从而对模型进行综合评估。

踩过的坑

使用Milvus过程中也遇到了一些挑战：

• 索引类型选择：分析召回结果时，发现部分模型预测分数高的记录未被召回，而分数低的反而被召回。排查后发现是索引类型导致的问题。最初使用IVF_FLAT索引，虽能提升查询速度，但无法保证100%召回率。参照官网文档改为FLAT索引后，问题得到解决。
• 条件查询问题：使用Python SDK进行条件查询时，传入的filter参数未生效。通过与社区沟通排查，将filter改为expr参数，问题顺利解决。

总结

不可否认，Milvus是一款功能强大且易于部署的向量数据库。它帮助我们优化了召回评估流程，节省了大量时间成本，也为模型上线前提供了更充分的评估依据。未来，我们将继续探索更多应用场景，进一步挖掘Milvus的潜力，充分利用其丰富功能提升业务召回效率与准确性。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：智联招聘采用Milvus向量召回提升招聘匹配效率要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题