大语言模型增强语义嵌入的模型算法综述

探索LLM在语义嵌入领域的突破进展，洞悉其在NLP任务中的应用潜力。
核心内容：
1. 语义嵌入技术的重要性及其在NLP任务中的应用价值
2. LLM技术如何推动语义嵌入技术的发展与革新
3. 基于LLM的语义嵌入模型最新进展及其在搜索、推荐等任务中的应用前景

导读：文本语义嵌入，这个听起来有点技术范儿的名词，实际上已经渗透到了搜索引擎、推荐系统、智能客服等日常应用的方方面面。简单来说，它就是把人类语言转化为计算机能理解的稠密向量，让机器真正“读懂”语义。过去几年，大语言模型（LLM）的爆发式增长，给这块领域带来了全新的思路和机会——不再依赖手工特征或静态词向量，而是通过海量预训练让模型自己学会捕捉上下文、多语言、多任务的语义关系。这篇文章就来聊聊LLM是如何在语义嵌入这条路上翻出新花样的，重点关注两个核心方向：一是利用LLM生成合成数据来提升训练效果，二是直接把LLM当作嵌入模型的主干网络。我们会扒开几个在MTEB基准上表现亮眼的模型，看看它们到底强在哪，顺便展望一下这些技术未来在搜索、推荐等场景里能带来什么变化。

01 背景介绍

1.1 语义嵌入

文本语义嵌入，作为将文本映射到语义空间的关键技术，通过将原本高维且稀疏的向量转化为低维稠密向量，实现了对单词、句子乃至整个文档深层次语义信息的精确捕捉。这一技术在信息检索、问答系统、文本相似度计算及推荐系统等自然语言处理（NLP）的诸多任务中展现出广泛的应用价值。

早期的语义嵌入方法，比如Word2vec和GloVe，主要基于统计特性构建，但问题也很明显——它们是静态的，无法搞定自然语言里那种千变万化的上下文关系。后来BERT带着它的“全家桶”（RoBERTa、DistilBERT、ALBERT等）杀了出来，通过双向编码和各种优化策略，不仅能捕捉上下文，还让嵌入质量上了好几个台阶。再后来，Sentence-BERT用孪生网络和三重网络结构实现了高效的句子级嵌入生成。而近些年，对比学习框架开始大放异彩，SimCSE这类方法靠着标准dropout做噪声源，连标注数据都不需要就能搞出高质量的句子向量，直接推动了整个领域的技术迭代。

现在，研究热点已经转向通用文本嵌入的优化——通过多阶段训练范式和复杂的数据混合策略，E5、BGE、GTE等模型在数据规模、质量和多样性上都有了显著提升。随着大语言模型（LLM）的崛起，用LLM来生成语义嵌入成了新方向。研究者们要么用LLM合成高质量训练数据来喂给嵌入模型，要么直接把LLM当成嵌入模型的主干，这样一来，语义嵌入的鲁棒性和泛化能力都变得更强，也给NLP的未来探出了新路。

1.2 大语言模型(LLM)

LLM，说白了就是那种动辄几十亿甚至上百亿参数的巨型语言模型，喂了海量数据以后，能理解和生成极其复杂的文本内容。参数规模越大、数据量越足，LLM在处理下游任务时就越游刃有余。凭借强大的表达能力和泛化性能，LLM在很多场景下已经甩开了传统机器学习方法。“预训练+提示”作为LLM的第四范式，提供了一种新路子——不再单纯靠微调去适应任务，而是通过设计“提示”这个文本模板来引导模型，唤醒它预训练阶段学到的知识，然后精准地输出符合任务要求的结果。像LLaMA-2、LLaMA-3、Mistral这些开源模型都已经取得了显著成效，它们不仅推动了LLM在语义嵌入领域的应用，更掀起了利用LLM做语义嵌入的研究热潮。下面这张表直观对比了LLM语义嵌入和传统语义嵌入的差别：

综上所述，LLM做语义嵌入和传统方法在模型结构、训练方式、嵌入质量、应用场景等方面都存在显著差异。这些差异让LLM在复杂NLP任务中表现出更强的性能和适应性。接下来，我们就进入正题，看看目前主流的LLM语义嵌入方法都有哪些。

02 算法解读

随着LLM越来越普及，尝试用LLM来生成语义嵌入的研究也开始涌现。Jiang等人率先提出了基于提示的句子嵌入方法，结合对比学习框架，通过设计“[X] means [MASK]”这样的模板来捕捉句子表征，并通过模板去噪来避免语义偏向。随后，Zeng等人提出了ConPVP的对比学习方法，利用提示构建虚拟语义原型和否定原型，用原型对比损失来优化句子嵌入。Cheng等人则进一步提出了基于AI反馈（CLAIF）的句子嵌入对比学习方法，利用来自LLM的AI反馈来构建具有细粒度样本相似性分数的样本对，提升监督对比学习的效果。

当前，利用LLM提升语义嵌入的研究热点主要集中在两大方向上：合成数据和模型骨干，如图1所示。下面我们就逐一拆解这两个方向上的代表模型。

2.1 合成数据

利用LLM做数据合成，现在越来越受业界重视。这个方法能显著提升模型在多任务、多语言环境下的能力多样性，从而训练出更健壮的语义嵌入模型，可以广泛用在各类下游任务中。具体来说，LLM在生成高质量、多语言、多任务的合成数据方面潜力巨大。比如，可以把LLM当作数据标注工具，高效地生成伪监督数据来强化训练；用GPT-4这类先进LLM，能生成覆盖多种语言和多种语义嵌入任务的合成数据，极大丰富训练数据的多样性；另外，合成数据还被用来从大模型中提取知识并融入到检索系统里。接下来，我们重点介绍在MTEB基准测试中表现突出的几个典型模型：E5-mistral-7b-instruct、SFR-Embedding-Mistral和Gecko。

2.1.1 E5-mistral-7b-instruct

【主要贡献】
微软团队提出了一种语义嵌入训练方法，不需要复杂的流程设计或人工构建数据集，只需利用LLM合成多样化的文本数据，就能为93种语言的数十万文本嵌入任务生成高质量语义嵌入，整个训练过程还不到1000步。实验结果证明，仅对合成数据进行微调时，Mistral-7B在BEIR和MTEB基准上就取得了非常有竞争力的性能；当同时加入合成数据和标注数据进行微调时，直接达到了SOTA。

【算法概述】
数据合成方面，为了生成多样的合成数据，他们设计了一种简单的分类法，把嵌入任务分成几个组，然后对每个组应用不同的提示模板。如图2所示，每个组都设计了一个两步提示模板：先让LLM生成一系列任务，再为每个任务生成（用户查询、正样本、难负样本）三元组。“{...}”表示占位符，运行时从预定义的值集合里随机选取。为了覆盖不同应用场景，每个任务类型都设计了多个提示模板，并将不同模板生成的数据组合起来。为了进一步提升多样性，每个提示模板中还加入了几个占位符，在运行时随机采样，比如{query_length}从集合{少于5个单词，5-10个单词，至少10个单词}中随机选。

训练阶段，给定一个预训练的LLM，在查询和文档的末尾添加一个[EOS]标记。最后一层的[EOS]向量被用作语义嵌入。为了帮模型适应不同任务，生成新查询时使用统一的指令模板。给定相关的查询-文档对$(q^+, d^+)$，先用原始查询$q^+$生成一个新指令$q_{inst}^+$，其中{task_definition}是嵌入任务的一句话描述占位符。最后，选择预训练的开源LLM Mistral-7B模型，对混合的合成数据和标注数据（包含13个公开数据集）进行采样后微调。

2.1.2 SFR-Embedding-Mistral

【主要贡献】
用改进的难负样本对E5-mistral-7b-instruct进行多任务微调，将性能提高了0.93%。主要结论有三点：

• 语义嵌入与聚类任务集成后检索性能显著提高，并通过多任务知识转移进一步增强检索性能。此外，多任务训练能让模型适应特定任务，增强泛化能力。
• 采用任务同构批处理——同一个batch里的所有样本来自同一个任务，这样能保证对比学习中的in-batch negatives更具挑战性。
• 之前的难负样本挖掘方法都是先通过检索把排序靠前的文档作为难负样本，但这样可能混入部分错误的负样本，影响训练。他们发现使用排序在30-100之间的文档作为难负样本能提升模型性能，而排序0-100的容易引入错误负样本，排序50-100的又缺乏训练难度。

2.1.3 Gecko

【主要贡献】
Gecko的核心思想很简单：从LLM中提取知识注入到检索器里。具体通过两步蒸馏实现：首先用LLM生成不同的任务-查询对数据；然后为每个查询检索一组候选段落，再用同一个LLM重新标注正样本和难负样本段落，进一步改进数据质量。

Gecko选用gtr-t5-xl（1.2B，encoder from T5-3B model）作为模型骨架。通过把LLM生成且经LLM排序的数据与人工标注的数据相结合，Gecko在MTEB基准上取得了不错的表现。

【算法概述】
该方法用知识蒸馏的思路，创建了两步LLM驱动的嵌入模型。

• 多元查询生成：如图4所示，先向LLM输入一段网络文章节选，让它生成任务描述和相关的查询。

其中$p_{seed}$是从web语料库中随机抽取的一个段落，$P_{QG}$是固定的提示符。每个示例的提示模板相同，由几个示例和说明组成。LLM生成一个任务描述t（描述检索类型，比如问答或事实检查）。通过对这些任务描述进行抽样，指导LLM生成与任务一致的查询?。

• 正负样本挖掘：给定生成的查询?，先用一个嵌入模型检索最相关的段落。然后用LLM对检索到的段落按与查询的相关性排序。排序方法采用查询似然和相关性分类两个少样本提示的LLM排序函数。最后将两种不同提示结果的排名用标准倒数秩融合（RRF）方法集成，获得排名函数?（?，?），并根据排名找到更多相关的正样本和难负样本。

2.2 模型骨干

另一类主流方法是将LLM直接作为语义嵌入的主干网络。这样做的好处是，它不用遵循现有语义嵌入模型普遍采用的对比预训练步骤，训练起来更灵活。得益于全面的自回归预训练，LLM能充分捕捉文本中的上下文信息和语义关系，具有出色的文本表征能力，而且只需要最少的微调就能变成高效的通用文本嵌入模型。同样，我们来看看在MTEB基准测试中表现优异的几个模型：NV-Embed-v2、BGE-EN-ICL、Echo-mistral、LLM2Vec、GRIT、GTE-Qwen1.5-7B-instruct和stella_en_1.5B_v5。

2.2.1 NV-Embed-v2

【主要贡献】
NV-Embed-v2是一个通用文本嵌入模型，提出了几个新设计：让LLM关注潜在向量以获得更好的池化嵌入输出，并展示了一种两阶段指令调优方法来提高检索和非检索任务的准确性。此外，NV-Embed-v2采用了一种新的难负样本挖掘方法，考虑了正样本的相关分数以更好地去除假负样本。基于预训练的Mistral-7B模型进行训练，该模型在大规模文本嵌入基准（MTEB基准，截至2024年12月3日）中排名第一，在56个文本嵌入任务中得分为72.31。

【算法概述】

• 模型架构：提出了一种潜在注意层来获得一系列token的池嵌入。如图5所示，将解码器最后一个隐藏层表示为查询Q，结合潜在数组K=V（可训练的“字典”），用于获得更好的表示。该交叉注意的输出经过正则MLP层和平均池化后获得整个序列的嵌入。同时，在decoder-only的LLM对比训练过程中去掉了因果注意掩码，缓解了单向注意力对模型表示能力的限制。

• 模型训练：引入了一种两阶段的对比指令调优方法。第一阶段利用批量负样本和精选的难负样本，在多种检索数据集上利用指令进行对比训练。第二阶段在检索和非检索数据集的组合上执行对比指令调优。由于同一批次内的负样本可能会误导非检索任务，第二阶段不采用in-batch negatives方案。这种设计不仅提高了分类、聚类和语义文本相似度任务的准确性，还显著提高了检索性能。

2.2.2 BGE-EN-ICL

【主要贡献】
利用LLM中的in-context learning（ICL）能力来增强语义嵌入生成的过程。BGE-EN-ICL模型使用少量示例来生成高质量语义嵌入，直接把与任务相关的示例集成到查询端，从而在多种任务上取得了显著改进。此外，还研究了如何有效将LLM用作嵌入模型，包括各种注意力机制、池化方法等。该模型采用Mistral-7B作为模型骨架，研究结果表明保留原始框架往往能获得最佳结果。在MTEB基准测试上目前排名第二。

【算法概述】

• 上下文学习增强嵌入模型：通过少样本对比训练实现ICL增强嵌入模型。考虑嵌入任务中的一个查询-段落对$(q_i, p_i)$，先构建一个示例模板如下：

“task definition”表示特定嵌入任务的描述。对于一个相关的查询-段落对$(q^+, p^+)$，修改后的查询构建如下：

• 表征方法：该方法认为在嵌入微调过程中引入双向注意力与模型的预训练设计不匹配，可能破坏其上下文学习和生成属性。所以与大多数现有嵌入方法一样，该模型保留了单向注意力机制。具体来说，在输入修改后的查询和段落的末尾添加一个[EOS]标记，通过因果注意力机制捕捉语义和上下文学习模式，然后将它们输入到LLM中，通过提取最后一层的[EOS]向量来获得嵌入。训练过程中采用标准InfoNCE损失函数，同时利用in-batch negatives和hard negatives。
• 基于上下文学习的指令微调：实验表明，如果在训练过程中一直提供示例，可能降低模型的零样本推理能力。因此提出了一种动态训练过程——每个训练步骤中，查询会被提供数量可变（0到n）的少量样本，这种方法在ICL能力和零样本性能之间取得了平衡。

2.2.3 Echo-mistral

【主要贡献】
自回归模型中由于存在因果注意力掩码，会导致token嵌入无法包含输入中靠后token的信息。为了突破这个限制，Echo-mistral设计了“Echo embeddings”（如图7所示），即使用双向注意力：重复两次输入，从第二次出现中提取嵌入。原则上，第二次出现的语境化嵌入可以关注第一次中呈现的整个句子。此外，需要在LLM的提示信息中加入“重写”或“重述”等词，确保第二次真的“编码”了第一次的信息。实验表明，Echo嵌入可以编码靠后token的信息，从而最大化利用LLM进行嵌入。在MTEB排行榜上，Echo嵌入比传统嵌入提高了9%以上，微调后提高了0.7%左右。跟之前没有利用合成微调数据的开源模型相比，Mistral-7B的Echo嵌入也有较大提升。

2.2.4 LLM2Vec

【主要贡献】
和Echo-mistral的思路类似，语义嵌入任务中，decoder模型的因果注意力机制限制了从整个输入序列中获取双向上下文表示的能力。为此，LLM2Vec提出了一种简单的无监督方法，可以把任何decoder-only LLM转化为强大的文本编码器，如图8所示，只需三步：1）启用双向注意力机制；2）掩码下一个token预测；3）无监督对比学习。

LLM2Vec选择Llama-3和Mistral-7B作为模型骨架。实验结果和广泛分析表明，它能以参数高效的方式将LLM有效地转变为通用文本编码器，不需要额外调整或利用GPT-4合成的数据。

【算法概述】

• 双向注意力机制：用全1矩阵替换decoder-only LLM的因果注意掩码，转换为双向LLM，每个token可以访问序列中的其他token。
• 掩码下一个token预测：通过掩码下一个token预测（MNTP）来调整模型，使其更好地利用双向注意力。MNTP将下一个token预测与掩码语言建模相结合。先掩蔽输入token的一部分，然后训练模型根据前后文预测这些掩蔽的token。
• 无监督对比学习：decoder-only LLM没有经过明确训练来捕捉整个序列的上下文，因此采用SimCSE的无监督对比学习来弥补。具体来说，给定一个输入句子，让句子两次通过模型，每次使用独立采样的dropout掩码，为同一个句子生成两种不同的表征。模型被训练为最大化这两种表征之间的相似性，同时最小化它们与批次中其他句子表征之间的相似性。最后对词表征进行池化，得到句子表征。

2.2.5 GRIT

【主要贡献】
Generative Representational Instruction Tuning（GRIT）模型，和Echo-mistral、LLM2Vec的思路类似，都强调双向注意力对通用文本嵌入的重要性。但GRIT的关键在于，通过训练LLM和指令来统一处理生成任务和嵌入任务。对于长文本，不再需要单独的检索和生成模型，该模型可以将检索增强生成（RAG）的速度提高60%以上。模型骨架选用Mistral-7b和Mistral-8x7b。

【算法概述】
GRIT将表征式指令调优和生成式指令调优统一到一个模型中。采用一致的数据格式，使用表征和生成式指令数据对预训练的LLM进行微调，如图9所示。对于表征数据，使用in-batch negatives的对比目标计算损失，同时采用双向注意力机制，然后进行平均池化，对序列长度上的最终隐藏状态取平均。为了计算生成式数据的损失，GRIT使用语言建模目标——模型需要预测下一个token。最后，将目标函数与损失权重$λ_{Rep}$（表征式损失权重）和$λ_{Gen}$（生成式损失权重）相加。

2.2.6 GTE-Qwen1.5-7B-instruct

【主要贡献】
GTE-Qwen1.5-7B-instruct基于GTE嵌入模型和Qwen1.5-7B LLM构建，借鉴了Qwen1.5-7B强大的自然语言处理能力。通过先进的嵌入训练技术，该模型融入了多项关键改进：

• 整合了双向注意力机制，丰富了模型的上下文理解能力；
• 仅在查询侧应用了指令调优，以提高效率；
• 在涵盖不同领域和场景的大规模、多语言文本语料库上进行了全面训练，同时利用了弱监督和监督数据，确保模型在多种语言和广泛下游任务中的适用性。

此外，还推出了GTE-base-en-v1.5和GTE-large-en-v1.5两个最新的英文嵌入模型，在同模型尺寸类别的MTEB基准测试上取得了很好的成绩，并且支持长达8192的上下文长度。

2.2.7 stella_en_1.5B_v5

【主要贡献】
该模型基于GTE-large-en-v1.5和GTE-Qwen2-1.5B-instruct进行训练。简化了提示的使用，为大多数通用任务提供了两个提示：一个用于序列到段落（s2p）任务，另一个用于序列到序列（s2s）任务。

• 序列到段落（s2p）任务（例如检索任务）的提示：“Instruct: Given a web search query, retrieve relevant passages that answer the query.\nQuery: {query}”
• 序列到序列（s2s）任务（例如语义文本相似性任务）的提示：“Instruct: Retrieve semantically similar text.\nQuery: {query}”

该模型最终选用MRL框架进行训练，从而具备多个维度设置，包括512维、768维、1024维、2048维、4096维、6144维以及8192维等多个层次。理论上和实践上，通常观察到随着维度提升，模型性能会增强。但在大多数应用场景中，1024维的配置已经展现出了极为可观的性能——在MTEB测试中的得分与最高维度的8192维模型相比，差距仅有0.001分。这说明1024维模型在性能与计算资源之间取得了很好的平衡，也为后续模型选择与优化提供了有价值的参考。

2.3 方法小结

这一节我们详细梳理了基于LLM的通用文本嵌入算法模型（特别是MTEB排名前10的）。大多数研究表明，通过全面的自回归预训练策略，LLM能学到高质量的文本表征，只需少量微调就能变成高效的通用文本嵌入模型。具体来说，微软的E5-mistral-7b-instruct和Google DeepMind的Gecko展示了两种创新途径——通过LLM生成合成数据来进一步优化通用文本嵌入性能。而Echo-mistral和LLM2Vec则强调，专为decoder-only LLM设计双向注意力机制，即使不依赖合成数据，同样能实现出色的通用文本嵌入效果。BGE-EN-ICL利用LLM中的ICL能力来增强文本嵌入生成过程。NV-Embed-v2设计了关注潜在向量的池化嵌入输出，并提出两阶段指令调优方法以提高检索和非检索任务的准确性。值得注意的是，本节介绍的所有专注于文本语义嵌入的LLM模型都采用了指令调优方法。这主要是因为LLM的指令遵循能力特别强，让它成为构建能灵活应对多样化任务的通用文本嵌入模型的优选。此外，Mistral-7B模型在LLM增强文本嵌入技术中是最流行的基线模型。其中一个关键因素是，即便不经过任何特定训练，只为Mistral-7B启用双向注意力机制，就已经展现出了显著成效。LLM2Vec的作者据此推测，Mistral模型可能已经在预训练阶段经历过某种形式的双向注意力训练。

03 总结

本文开篇对文本语义嵌入方法进行了系统性概述，剖析了当前主流算法模型的架构特征及其发展脉络与趋势。随着LLM的迅速崛起，文章在多维视角下对比了LLM文本嵌入技术与传统语义嵌入方法之间的显著差异。传统文本语义嵌入技术以高效性、广泛应用性和强大的语义表示能力为众多任务提供了有力支持，在自然语言处理领域占据重要地位。但这项技术也面临着数据依赖性、静态性以及计算资源消耗等瓶颈。相比之下，LLM通过捕捉文本上下文信息、支持多语言处理及出色的生成能力，为提升文本嵌入质量带来了新视角。随后，核心内容聚焦于LLM在生成文本嵌入领域的最新研究进展。当前，研究界对通用文本嵌入模型给予了高度关注，目标是构建一个统一且全面的框架，灵活应对不同长度的输入文本、多样化的下游任务、广泛的领域覆盖以及多语言处理需求。为了实现LLM在提升文本嵌入能力上的潜力，研究者们探索了两条主要路径：一是通过合成数据生成策略来增加训练数据多样性和灵活性；二是直接将LLM作为核心架构来优化通用文本嵌入的性能。本文介绍了这两条路径下的代表性模型，这些前沿方法均在多文本嵌入基准测试（MTEB）排行榜上名列前茅，在训练数据的规模上实现了显著提升，同时在数据质量与多样性方面展现了创新性的突破。这些进展不仅为文本语义嵌入技术提供了新的研究视角，也为未来自然语言处理领域的发展奠定了坚实的基础。

尽管LLM能生成更精确的文本语义嵌入，但也面临计算资源消耗大、数据隐私与伦理挑战以及解释性不足等难题。尤为关键的是，LLM高度依赖于提示的质量，而为各种任务创建精确且全面的提示不仅繁琐且耗时；同时，将提示整合到文本嵌入中会增加输入长度，对大型数据集和模型来说会带来额外的计算开销。随着技术的持续进步，未来应该会出现更高效的训练算法，显著加速LLM的训练过程，进而推动其在NLP领域的广泛应用。同时，文本嵌入与图像、音频等其他模态嵌入的融合将成为趋势，旨在实现多模态自然语言处理任务，拓宽模型的应用范围并提升其性能。此外，为应对日益增长的模型解释性需求，未来LLM将朝着更强可解释性的方向发展，优化提示生成算法和质量评估，确保决策过程的合理性、准确性和伦理性。随着这些技术的不断成熟，LLM语义嵌入生成技术将在智能客服、内容创作、教育等众多领域展现更为广阔的应用前景，开启自然语言处理的新篇章。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大语言模型增强语义嵌入的模型算法综述要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题