RAG优化实战：多种ReRanker实现方法与技巧

无论你是刚接触RAG的新手，还是已经在项目中实践过，这篇文章都能帮你系统地捋清ReRanker的原理、常见实现方式，以及在实际场景中怎么用才能发挥最大价值。希望能给你带来一些新的思路。

重新排名，说白了就是根据某些标准，把已有的项目列表再排一遍序。放到搜索场景里，就是对搜索引擎返回的结果进行二次排序——比如初始排名不太理想，或者用户给出了额外的信息可以用来优化排名。这时候，重新排名就派上用场了。

下面是几种常见的Reranker实现方式，先看一张图快速了解：

接下来，我们通过LanceDB这个向量数据库来具体看看这些Reranker是怎么用的。LanceDB是一个专为AI设计的开源向量数据库，主要用来存储、管理、查询和检索大规模多模态数据的嵌入向量。它的核心是用Rust写的，底层基于Lance——一种开源的列式数据格式，专门为高性能机器学习工作负载和快速随机访问而生。

对于向量搜索和全文检索（FTS）来说，使用重新排序器是可选的。但在混合搜索场景下，重新排序是必不可少的。要使用重新排序器，你需要先创建它的实例，然后传递给查询构建器的 rerank 方法。

import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import CohereReranker

embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", data)
reranker = CohereReranker(api_key="your_api_key")

# Run vector search with a reranker
result = tbl.query("hello").rerank(reranker).to_list() 

# Run FTS search with a reranker
result = tbl.query("hello", query_type="fts").rerank(reranker).to_list()

# Run hybrid search with a reranker
tbl.create_fts_index("text")
result = tbl.query("hello", query_type="hybrid").rerank(reranker).to_list()

一、Multi-vector reranking 多向量重排序

大多数重新排序器都支持基于多个向量进行重新排序。你只需要把向量列表传给 rerank 方法就行。下面是一个用 CrossEncoderReranker 基于多个向量列做重排序的例子：

from lancedb.rerankers import CrossEncoderReranker

reranker = CrossEncoderReranker()

query = "hello"

res1 = table.search(query, vector_column_name="vector").limit(3)
res2 = table.search(query, vector_column_name="text_vector").limit(3)
res3 = table.search(query, vector_column_name="meta_vector").limit(3)

reranked = reranker.rerank_multivector([res1, res2, res3], deduplicate=True)

二、Cohere Reranker 一致性重排序器

支持的查询类型：混合、矢量、FTS（全文检索）。

Cohere 是一家专注于企业人工智能的加拿大跨国科技公司，专门研究大型语言模型。由 Aidan Gomez、Ivan Zhu 和 Nick Frosst 于 2019 年创立，总部设在多伦多和旧金山，在帕洛阿尔托、伦敦和纽约市也有办事处。

Cohere 原生的 Rerank 实现方式如下：

import cohere
co = cohere.Client(api_key="")

query = "What is the capital of the United States?"
docs = [
"Carson City is the capital city of the American state of Nevada. At the 2010 United States Census, Carson City had a population of 55,274.",
"The Commonwealth of the Northern Mariana Islands is a group of islands in the Pacific Ocean that are a political division controlled by the United States. Its capital is Saipan.",
"Charlotte Amalie is the capital and largest city of the United States Virgin Islands. It has about 20,000 people. The city is on the island of Saint Thomas.",
"Washington, D.C. (also known as simply Washington or D.C., and officially as the District of Columbia) is the capital of the United States. It is a federal district. The President of the USA and many major national government offices are in the territory. This makes it the political center of the United States of America.",
"Capital punishment (the death penalty) has existed in the United States since before the United States was a country. As of 2017, capital punishment is legal in 30 of the 50 states. The federal government (including the United States military) also uses capital punishment."]
results = co.rerank(model="rerank-english-v3.0", query=query, documents=docs, top_n=5, return_documents=True)

在 LanceDB 中，只需要把 CohereReranker() 传给 rerank() 方法就能用。注意，需要设置 COHERE_API_KEY 环境变量，或者在调用时直接传入 api_key 参数。

import numpy
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import CohereReranker

embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = CohereReranker(api_key="key")

# Run vector search with a reranker
result = tbl.search("hello").rerank(reranker=reranker).to_list() 

# Run FTS search with a reranker
result = tbl.search("hello", query_type="fts").rerank(reranker=reranker).to_list()

# Run hybrid search with a reranker
tbl.create_fts_index("text", replace=True)
result = tbl.search("hello", query_type="hybrid").rerank(reranker=reranker).to_list()

三、Cross Encoder Reranker 交叉编码器重排序

在交叉编码器架构中，模型的输入始终是编码器联合处理的数据对（比如两个句子或文档）。这种方式能让模型更有效地捕获输入序列之间的交互和关系。编码器通常由多层神经网络单元（如 Transformer 或 RNN）构成，将输入序列的信息编码成固定大小的表示。

这个重新排序器使用了 sentence-transformers 中的交叉编码器模型来重排序搜索结果。用法很简单：把 CrossEncoderReranker() 传给 rerank() 方法。

import numpy
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import CrossEncoderReranker

embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = CrossEncoderReranker()

# Run vector search with a reranker
result = tbl.search("hello").rerank(reranker=reranker).to_list() 

# Run FTS search with a reranker
result = tbl.search("hello", query_type="fts").rerank(reranker=reranker).to_list()

# Run hybrid search with a reranker
tbl.create_fts_index("text", replace=True)
result = tbl.search("hello", query_type="hybrid").rerank(reranker=reranker).to_list()

四、ColBERT Reranker ColBERT 重排序器

ColBERT 是一种快速且准确的检索模型，能在数十毫秒内对大规模文本集合进行基于 BERT 的可扩展搜索——这一点在 RAG 场景下尤其重要。RAG 本身就不是一个以快见长的技术，每次 LLM 调用都会引入延迟，而重新排序又额外增加了一轮模型调用。ColBERT 是目前可用的最快的重排名模型之一，能有效减少这个摩擦点。

ColBERT 依赖细粒度的上下文后期交互：它把每个段落编码成 token 级别的嵌入矩阵（上图中蓝色部分）。搜索时，再把每个查询嵌入到另一个矩阵中（绿色部分），然后利用可扩展的向量相似度（MaxSim）操作符，高效找到与查询上下文匹配的段落。

在 LanceDB 中，只需要把 ColbertReranker() 传给 rerank() 方法就能使用。

import numpy
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import ColbertReranker

embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = ColbertReranker()

# Run vector search with a reranker
result = tbl.search("hello").rerank(reranker=reranker).to_list() 

# Run FTS search with a reranker
result = tbl.search("hello", query_type="fts").rerank(reranker=reranker).to_list()

# Run hybrid search with a reranker
tbl.create_fts_index("text", replace=True)
result = tbl.search("hello", query_type="hybrid").rerank(reranker=reranker).to_list()

五、OpenAI Reranker OpenAI 重新排序器

这个重新排序器用 OpenAI 的聊天模型来对搜索结果重新排序。使用方式一样，把 OpenAI() 传给 rerank() 方法即可。

注意：这个重新排序器目前是实验性的。OpenAI 并没有专门的重新排名模型，所以这里是用聊天模型临时充当重排工具。

import numpy
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import OpenaiReranker

embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = OpenaiReranker()

# Run vector search with a reranker
result = tbl.search("hello").rerank(reranker=reranker).to_list() 

# Run FTS search with a reranker
result = tbl.search("hello", query_type="fts").rerank(reranker=reranker).to_list()

# Run hybrid search with a reranker
tbl.create_fts_index("text", replace=True)
result = tbl.search("hello", query_type="hybrid").rerank(reranker=reranker).to_list()

六、Linear Combination Reranker 线性组合重排序器

这是 LanceDB 混合搜索默认使用的重排序器。它通过分数的线性组合，把语义搜索和全文搜索的结果结合起来。可以指定线性组合的权重，默认值是 0.7，也就是语义搜索占 70%，全文搜索占 30%。

import numpy
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import LinearCombinationReranker

embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = LinearCombinationReranker()

# Run hybrid search with a reranker
tbl.create_fts_index("text", replace=True)
result = tbl.search("hello", query_type="hybrid").rerank(reranker=reranker).to_list()

七、Jina Reranker Jina 重排序器

Jina 重排序器 v2（jina-reranker-v2-base-multilingual）是一个基于 Transformer 的模型，专门针对文本重排序任务进行了微调——这是信息检索系统中的关键一环。它是一个交叉编码器模型，输入是查询和文档对，输出是文档与查询的相关性分数。模型在大量查询-文档对的数据集上训练，能够高精度地对多种语言的文档进行重新排名。

相比之前发布的 jina-reranker-v1-base-en，v2 在文本检索、多语言能力、函数调用感知、文本到 SQL 感知的重排序以及代码检索等基准测试中都表现出了竞争力。

在 LanceDB 中使用 Jina Reranker，需要调用 JinaReranker() 并传给 rerank() 方法。注意，需要设置 JINA_API_KEY 环境变量，或者在初始化时直接传入 api_key 参数。

import os
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import JinaReranker

os.environ['JINA_API_KEY'] = "jina_*"

embedder = get_registry().get("jina").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = JinaReranker(api_key="key")

# Run vector search with a reranker
result = tbl.search("hello").rerank(reranker=reranker).to_list() 

# Run FTS search with a reranker
result = tbl.search("hello", query_type="fts").rerank(reranker=reranker).to_list()

# Run hybrid search with a reranker
tbl.create_fts_index("text", replace=True)
result = tbl.search("hello", query_type="hybrid").rerank(reranker=reranker).to_list()

八、AnswerDotAI Rerankers AnswerDotAI 重排序器

这个集成允许你使用 AnswerDotAI 的重新排名器对搜索结果进行重新排序。Rerankers 是一个轻量级、低依赖性的统一 API，支持所有常见的重排名和交叉编码器模型。

import numpy
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import AnswerdotaiRerankers

embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = AnswerdotaiRerankers()

# Run vector search with a reranker
result = tbl.search("hello").rerank(reranker=reranker).to_list() 

# Run FTS search with a reranker
result = tbl.search("hello", query_type="fts").rerank(reranker=reranker).to_list()

# Run hybrid search with a reranker
tbl.create_fts_index("text", replace=True)
result = tbl.search("hello", query_type="hybrid").rerank(reranker=reranker).to_list()

九、Reciprocal Rank Fusion Reranker 倒数排名融合重排名器

倒数排名融合（RRF）是一种算法，通过评估多个先前排名结果的搜索分数，生成一个统一的结果集。当两个或多个查询并行执行时，RRF 会登场。每个查询都会产生一个排名结果集，RRF 负责把这些排名合并并同质化为单一结果集，然后在查询响应中返回。典型的应用场景包括混合搜索和同时执行的多个向量查询。

参考论文：https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf

在 LanceDB 中，RRF 是通过利用文档的位置/排名来评估搜索分数的，代码示例如下：

import numpy
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import RRFReranker

embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")

class Schema(LanceModel):
text: str = embedder.SourceField()
vector: Vector(embedder.ndims()) = embedder.VectorField()

data = [
{"text": "hello world"},
{"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = RRFReranker()

# Run hybrid search with a reranker
tbl.create_fts_index("text", replace=True)
result = tbl.search("hello", query_type="hybrid").rerank(reranker=reranker).to_list()

以上这些 Reranker 在 LanceDB 中的应用，其实并不局限于 LanceDB。这些方法的原理和实现方式并不依赖任何特定的向量数据库——无论你用的是哪种数据库或检索系统，在任何 RAG 应用场景中，都可以灵活地集成和使用这些优化技术。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：RAG优化实战：多种ReRanker实现方法与技巧要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题