端到端训练如何复现深度研究上篇先从深度搜索做起

深入探索AI在深度搜索领域的最新突破，全面解析复现Deep Research的核心方法与关键技术。
核心内容：
1. Deep Research的基本概念与实际应用价值
2. OpenAI如何通过端到端强化学习训练Deep Research模型
3. 市面上Deep Research的多个复现版本及开源项目分析

这个系列文章，旨在分享复现Deep Research的一些关键洞见。在上一篇关于Agent的文章《25年什么样的 Agent 会脱颖而出：简单胜于复杂》中，文章提到：

这给出了总体思路，但要真正复现Deep Research，还需要更多细节。本系列会从端到端（end-to-end）训练的角度出发，循序渐进地探讨这个问题。

首先，什么是Deep Research？它是一个用于深度搜索和调研的智能体（Agent），能够在5到30分钟内生成一份完整的调研报告。需要注意的是，它强调的是“深度搜索+调研”，而非单纯的深度搜索（Deep Search）。

Deep Research的应用价值不容小觑。正如在与真格戴雨森聊 Agent：各行业都会遭遇 “李世石时刻”，Attention is not all you need 中所言：

目前市面上已有多个Deep Research的复现版本，包括Google的Deep Research、Grok的DeepSearch和DeeperSearch、Perplexity的DeepResearch、智谱前几天的AutoGLM沉思版、 Genspark、以及秘塔的深度研究模式。此外，开源的项目也有不少：

• https://github.com/huggingface/smolagents/tree/main/examples/open_deep_research
• https://github.com/jina-ai/node-DeepResearch
• https://github.com/dzhng/deep-research
• https://github.com/nickscamara/open-deep-research
• https://github.com/theworldofagents/Agentic-Reasoning

根据实测反馈，大公司的产品在交互体验和研究质量上普遍更胜一筹，如来自卡神@卡兹克的实际体验后的分享。OpenAI的Deep Research虽然耗时最长，但质量也最高; 其次是Grok的DeeperSearch。国内产品如豆包的深度思考和秘塔，效率较高但质量稍逊一筹。

本系列会先聚焦于Deep Search和端到端（end-to-end）训练，循序渐进地展开讨论：

1. 本文首先聚焦在 Deep Search 上。要复现Deep Research，首先必须把搜索（Search）这项基础能力做好。给定用户问题，Agent需要学会从浏览器或API中搜集相关知识。没有扎实的搜索能力，就难以实现深度的研究能力。
2. 端到端的模型被公认为上限更高的实现方式，因此我们将重点研究如何通过端到端方法复现Deep Search的关键技术洞见。

本系列文章会分三个部分展开：

1. 上篇（本文）: 聚焦Deep Search的关键技术和端到端训练方法
2. 中篇: 探讨Jina AI、WebThinker 等中间形态的Deep Research实现方案
3. 下篇: 分析OpenAI、Gemini、Genspark等产品级Deep Research的技术路径

希望通过这个系列，与大家一同探索如何从0到1复现这项令人兴奋的前沿技术。欢迎交流讨论！

Deep Search：搜索的本质与难点

在深入研究Deep Research之前，我们必须理解：Deep Search是Deep Research的基石。 搜索的本质在于找到全面且直接的信息。根据不同的需求和场景，我们可以采用多种实现方式：

1. 结构化数据查询：编写SQL语句查询公司内部数据库
2. API调用：使用关键词调用外部搜索API（如Google、Bing）
3. 虚拟浏览器：通过Operator等工具模拟人类浏览网页的行为
4. . ...

搜索任务的复杂度也呈现不同等级的递增，例如单跳搜索“哪吒2的导演是谁”、多跳搜索“哪吒 2 的导演还导演过什么电影？”、以及偏向深度研究的搜索“研究《哪吒2》在国际市场的接受度与文化输出效果，分析其对提升中国文化软实力的贡献”。

多跳搜索和深度研究型搜索的关键在于模仿人的思维链搜索过程：

1. 模型首先根据问题进行初步推理，确定基础搜索方向
2. 执行初始搜索，获取第一批信息
3. 基于已获取的信息，进行下一轮推理，确定进一步的搜索方向
4. 执行细化搜索，获取更精准的信息
5. 不断迭代这个“推理→搜索→推理”的循环，直到收集到足够的信息 在这个过程中，每次搜索都建立在前一次搜索结果的基础上，形成一个连贯的推理链。

这就是为什么Deep Search是Deep Research的基石——只有掌握了这种迭代式、思维链式的搜索能力，才能支撑起完整的深度研究。

论文 1: 《Search-o1: Agentic Search-Enhanced Large Reasoning Models》

Search-o1 是近期备受关注的 WebThinker 项目的前身，它提出了一种新颖的方法，让大型语言模型在推理过程中能够主动进行网络搜索，从而显著增强其推理能力。与传统检索增强生成（RAG）系统相比，Search-o1 有两个关键创新点：

核心组件一: 主动式检索增强生成机制

传统 RAG 通常是一次性的：在回答问题前进行一次检索，然后将检索结果放入上下文中。而 Search-o1 实现了动态的、多步骤的检索机制：

• 模型在推理过程中可以识别自身知识的不足点
• 当遇到知识不确定的情况时，模型会自动生成搜索查询，格式为 <|begin_search_query|>搜索词<|end_search_query|>
• 系统检测到这一标记后，暂停模型推理，执行网络搜索
• 搜索结果被包装在 <|begin_search_result|>检索到的内容<|end_search_result|> 标记中返回给模型
• 模型继续推理，并可以根据需要多次重复这一过程。相关的 Prompt 如下

Search-o1的核心组件二:

Reason-in-Documents模块检索有一个很严重的问题，就是检索出来的内容可能非常杂乱且过长，而当前的大模型处理长文本时性能会下降。因此，论文提出使用另一个 Reason-in-Documents 模块，将检索到的内容进行精炼，再放回到原有的推理链中，从而缓解检索文档中存在冗余信息和 LLM 处理长文档的局限性。相关的 Prompt 如下

Search-o1与传统 RAG 的区别

• 检索触发机制：传统 RAG 是静态的、预先定义的；Search-o1 是动态的、由模型主动触发的
• 检索频率：传统 RAG 通常进行一次性检索；Search-o1 支持多次、迭代式检索
• 内容整合：传统 RAG 直接插入大量文档；Search-o1 经过精炼后仅保留关键信息
• 推理连贯性：Search-o1 保持了推理流的连贯性，有效避免了传统 RAG 可能导致的推理中断

示例说明

以下图论文中的示例为例，详细说明整个工作流程：

1. 模型开始推理，遇到需要特定知识的环节
2. 模型生成：<|begin_search_query|> reaction of grignard reagent with aldehyde <|end_search_query|>
3. 系统暂停模型推理，调用搜索引擎获取结果
4. Reason-in-Documents 模块分析搜索结果，提取关键信息
5. 精炼后的内容被包装在 <|begin_search_result|>提炼后的检索内容<|end_search_result|> 中
6. 模型继续推理，可能进行多轮搜索-精炼循环
7. 最终生成完整且准确的答案 !

论文 2: 《DeepRetrieval: Hacking Real Search Engines and Retrievers with Large Language Models via Reinforcement Learning》

用强化学习来训练查询改写（query改写）

查询改写已被证实是检索流程中的关键步骤。当用户提交问题时，大型语言模型(LLM)通常会对其进行重新表述（称为增强查询），然后再执行检索。DeepRetrieval采用创新方法，利用强化学习(RL)而非传统的监督式微调(SFT)来优化这一关键步骤。

DeepRetrieval的突出之处在于它能够通过“试错”方式直接学习，使用检索指标作为奖励，从而无需昂贵的监督数据。这种方法使模型能够针对实际性能指标进行优化，而不仅仅是模仿人工编写的查询。

在多种检索任务中进行了实验

论文中值得称赞的是，在五种不同的检索任务中展示的有效性，每种任务都需要不同的查询格式和奖励结构：

1. Literature Searching (文献检索)

• 定义：给定一个查询，从搜索引擎中检索相关文档。
• 评估指标：Recall@K（在前K个结果中检索到的目标文档的百分比）
• query形态：采用医学专用的PICO检索语法
• 例如：“((达姆明) AND (围手术期 OR 血液转输 OR 去氨加压素 OR 抗凝剂)) AND (随机对照试验)”
• 这种查询包含布尔运算符和专业术语，结构严谨

2. Evidence-Seeking Retrieval (证据寻找检索)

• 定义：给定一个问题，检索包含匹配答案候选项的文档。
• 评估指标：H@N（第一个出现答案的文档排名是否在前N位）
• query形态：类似自然语言，如“What is another term for the pivot mounting?”

3. Classic Sparse Document Retrieval (经典稀疏文档检索)

• 定义: 使用关键词匹配和布尔操作进行文档检索（如BM25算法）。
• 评估指标：NDCG（归一化折扣累积增益，衡量排序质量）
• query形态：关键词和布尔表达式组合- 例如：“(李明 IS-A 人物 AND 李明 IS-A 在职) OR (李明 IS-A 人物 AND 李明 IS-A 失业)”

4. Classic Dense Document Retrieval (经典密集文档检索)

• 定义：使用查询和文档的语义向量表示进行检索。
• 评估指标：同样使用NDCG
• query形态：自然语言表述
• 例如：“量子计算的基本原理是什么？”
• 系统会将这类查询转换为向量形式，通过语义相似度进行文章检索

5. SQL Database Search (SQL数据库检索)

• 定义：根据自然语言查询生成SQL来检索数据库中的信息。
• 评估指标：执行准确率（检索结果与目标答案的匹配程度）
• quuey形态：SQL语句
• 例如：“SELECT 书名 FROM 图书表 WHERE 类型 != ‘诗歌’“

论文通过研究五种不同类型的检索任务，展示了强化学习在查询改写领域的通用有效性。这些任务包括专业文献检索、基于BM25的关键词匹配以及SQL生成等多种形式。作者的核心论点是：无论用户的初始查询和最终改写的查询的形式如何变化（自然语言到自然语言、专用语法到专用语法、或自然语言到SQL），经过精心设计的强化学习训练都能显著提升查询改写的质量，从而大幅提高最终的检索效果。这一发现证明了强化学习方法在查询优化领域具有跨形式、跨领域的适用性和有效性。

奖励函数设计

既然是强化学习，那肯定是要涉及奖励的，论文针对 5 种不同的检索任务，也设计了不同的 prompt 和奖励机制。

其中：捕获任务特定的检索性能，奖励符合所需输出结构的结果，为用户原始的query，为模型新改写的query。

这里以Literature Search和 Database Search来举例：

• Literature Search

• Prompt 如下：
• Format_reward格式奖励：用户是否遵循 prompt 中要求的格式，如是否出现 “think"等标记；Retrieval_reward检索奖励：与目标答案的匹配程度，例如召回率达到70%得+5.0分，召回率为0%得-3.5分

• SQL Database Search

• Prompt如下：
• Format_reward格式奖励：用户是否遵循 prompt 中要求的格式，如是否出现 “think”、"answer"等 token，生成的answer 中的 SQL 是否符合SQL语法规范；Retrieval_reward检索奖励：与标签答案的 SQL 执行的结果是否一致。 以下是所有 5 种检索任务的奖励设置。

论文 3: 《Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning》

结合交错式多轮搜索引擎调用的文本生成

Search-R1通过创新的五阶段交互流程实现知识检索与推理的深度融合：

1. 初始问题解析阶段
   当接收到用户问题时，模型首先在thinking思考标签内进行初步推理分析，识别当前知识储备中的信息缺口。
2. 动态检索决策阶段
   若推理过程中发现知识不足，模型将自主触发检索机制，通过查询内容格式生成精准的搜索指令。
3. 信息整合阶段
   搜索引擎返回的结果会被结构化封装在信息标签内，为后续推理提供可靠的外部知识输入。
4. 迭代优化机制
   系统支持多轮次检索-推理循环，模型可根据信息完备性动态决定是否发起新一轮检索，直至满足解答需求。
5. 最终响应生成阶段
   当判定信息充足时，模型直接通过答案标签输出简洁结论，无需附加解释说明。 以下为 Search-R1的 prompt

与 Search-o1不同的是，Search-R1针对任务进行了强化学习的训练，而且Search-R1没有Search-o1的Reason-in-Documents模块，检索到的内容会直接被完整地放到思维链中。以下是一个Search-R1的例子，其本质就是生成检索、返回内容、思考，不断循环，直到达到最终答案。

奖励函数设计

Search-R1使用基于规则的奖励系统，只关注最终结果的正确性：

其中，EM是精确匹配函数，是从回答中提取的答案，是标准答案。 这种简单的奖励设计避免了复杂的过程奖励和可能被“黑客攻击”的神经奖励模型。这个模型设计没有包含格式奖励，作者解释因为模型已经表现出良好的结构遵循能力。

论文 4: 《R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning》

两阶段的强化学习增强检索能力

R1-Searcher引入了一个两阶段基于结果的强化学习方法，使LLM能够在推理过程中自主调用外部搜索系统：

1. 第一阶段（检索学习训练）：通过检索奖励激励模型学习如何正确调用外部搜索，此阶段不关注答案准确性。

• 检索奖励 (Retrieval Reward):
• 0.5分：当模型至少执行一次检索操作
• 0分：未进行任何检索
• 格式奖励 (Format Reward):
• 0.5分：完全符合规定的输出格式标准
• 0分：格式不符合要求

• 格式规范要求：
• 思考过程必须封装在 thinking... response标签内
• 最终答案必须封装在...标签内
• 检索查询必须使用...标签标记
• 严格禁止未调用检索系统直接生成文档内容

• 阶段总奖励：Rretrieval + Rformat (最高1.0分)

2. * 第二阶段（检索结果集成训练）：在确保格式规范的基础上，提升模型有效利用检索信息解决问题的能力

第二阶段删除了检索奖励，引入了答案奖励，同时保留格式奖励但调整了惩罚力度

• 格式奖励 (Format Reward):
• 0分：格式完全正确
• -2分：格式出现任何错误
• (注：相比第一阶段，显著提高了格式错误的惩罚力度)
• 答案奖励 (Answer Reward):
• 其中：
• PN: 预测答案的词数
• RN: 参考答案的词数
• IN: 预测答案与参考答案的交集词数
• 使用F1分数作为答案奖励：Ranswer = 2 * IN / (PN + RN)
• 阶段总奖励：Format Reward + Answer Reward 这种两阶段设计通过分离关注点，先确保模型掌握正确的检索行为规范，再专注于提升答案质量，实现了检索能力与信息整合能力的阶梯式提升。

总结

Search-o1、Search-R1、R1-Searcher 的研究方向基本一致：构建长的搜索推理思维链，在思维链中不断调整搜索策略。一个重要共识是，强化学习比监督微调（SFT）能带来更好的泛化能力。DeepRetrieval虽然关注查询改写，但范围过窄，难以形成完整的思维链。理想的查询改写应是在思维链中自然生成的结果，而非单独训练的任务。 我们距离真正的Deep Research还有相当长的距离。完整的研究过程涉及更多挑战，如并行搜索、超长上下文管理、研究报告目录编写、结论调整与优化等。但正如开篇所述，先把搜索（Search）做好，才能做好研究（Research）。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：端到端训练如何复现深度研究上篇先从深度搜索做起要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题