深度学习:构建基于LangGraph的RAG多智能体研究工具
基于LangGraph的多智能体RAG研究工具,通过路由、子步骤规划、幻觉纠正和全局状态共享,克服传统问答系统在复杂问题分解、错误处理与工具使用上的局限,高效整合多源信息并迭代生成精准答案。
(一)传统问答系统的局限性
在项目开发初期,我们发现传统的“简单RAG”方法存在诸多不足: - **无法拆解复杂问题**:简单RAG只能在单一层面处理查询,无法深入分析每个步骤并得出统一结论 - **缺乏幻觉处理能力**:对模型生成错误信息或错误处理的能力不足,无法通过验证步骤纠正错误 - **工具使用受限**:无法根据工作流条件动态使用工具、调用外部API或与数据库交互(二)多智能体RAG的核心优势
为了解决这些问题,我们引入了基于LangGraph的多智能体RAG研究系统。该框架能够实现以下四项关键功能: 1. **路由和工具使用** 路由智能体可以对用户的查询进行分类,并将流程引导到合适的节点或工具。例如,它可以判断文档是否需要完整总结、是否需要更详细的信息,或者问题是否超出范围。 2. **规划子步骤** 复杂查询通常需要被拆解成更小、更易管理的步骤。从一个查询出发,系统可以生成一系列执行步骤,以探索查询的不同方面并得出结论。比如,如果查询需要比较文档的两个不同部分,基于智能体的方法可以识别这种比较需求,分别检索两个来源,并在最终回应中将它们合并为比较分析。 3. **反思和错误纠正** 除了简单的回应生成,智能体方法还可以增加一个验证步骤,以应对潜在的幻觉、错误或未能准确回答用户查询的回应。此外,它还能够整合人工参与的自我纠正机制,将人类输入融入自动化流程。
小提示:这种功能使基于智能体的RAG系统成为企业应用中更稳健、更可靠的解决方案,因为在企业场景中,可靠性至关重要。
4. **共享全局状态** 智能体工作流共享一个全局状态,简化了跨多步骤的状态管理。这个共享状态对于维持多智能体过程不同阶段的一致性至关重要。 ## 二、项目概览:构建智能问答的“大脑” ### (一)系统架构图 我们的系统包含两个核心部分:研究者子图和主图。 研究者子图负责生成用于检索和重排向量数据库中top-k文档的不同查询。主图则包含主要工作流程,例如分析用户查询、生成完成任务所需的步骤、生成回应,并通过人工参与机制检查幻觉。 ### (二)文档处理与向量数据库构建 #### 1. 文档解析 对于结构复杂的PDF文档,尤其是包含复杂布局的表格,选择合适的解析工具至关重要。许多库在处理复杂页面布局或表格结构的PDF时精度不足。 为此,我们采用了Docling这一开源库。Docling支持从PDF、DOCX、PPTX、XLSX、图片、HTML、AsciiDoc和Markdown等多种常用文档格式读取和导出Markdown和JSON格式。它对PDF文档有全面的理解,包括表格结构、阅读顺序和页面布局,还支持对扫描PDF的OCR功能。 以下是使用Docling将PDF转换为Markdown格式的代码示例:from docling.document_converter import DocumentConverter
logger.info("Starting document processing.")
converter = DocumentConverter()
markdown_document = converter.convert(source).document.export_to_markdown()
#### 2. 向量数据库构建
我们使用Chroma构建向量数据库,将句子存储为向量嵌入,并在数据库中进行搜索。我们将持久化数据库存储在本地目录"db_vector"中。
重要提示:通过OpenAI的嵌入模型,我们将文档列表转换为向量,并存储在Chroma中。
以下是构建向量数据库的代码:from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings
embd = OpenAIEmbeddings()
vectorstore_from_documents = Chroma.from_documents(
documents=docs_list,
collection_name="rag-chroma-google-v1",
embedding=embd,
persist_directory='db_vector'
)
### (三)主图构建与状态管理
LangGraph的核心概念之一是状态。每个图执行都会创建一个状态,该状态在图的节点执行时传递,并在每个节点执行后更新内部状态。
我们定义了两个类:`Router`和`GradeHallucinations`,分别用于存储用户查询的分类结果和回应中幻觉的存在与否。
基于这些状态,我们构建了:
- **输入状态(InputState)**
- **智能体状态(AgentState)**:包含用户查询的分类、研究计划的步骤列表、智能体可以引用的检索文档列表,以及幻觉的二进制评分
以下是状态类的定义代码:
from pydantic import BaseModel, Field
from typing import Literal, TypedDict
class Router(TypedDict):
"""Classify user query."""
logic: str
type: Literal["more-info", "environmental", "general"]
class GradeHallucinations(BaseModel):
"""Binary score for hallucination present in generation answer."""
binary_score: str = Field(description="Answer is grounded in the facts, '1' or '0'")
三、工作流程详解:八步搞定复杂查询
### 第一步:分析和路由查询 这一步会更新智能体状态中的Router对象,其类型变量包含"more-info"、"environmental"或"general"中的一个值。根据这个信息,工作流将被路由到合适的节点。
路由逻辑说明:工作流将被路由到例如"create_research_plan"、"ask_for_more_info"或"respond_to_general_query"等节点。
以下是实现代码:async def analyze_and_route_query(
state: AgentState, *, config: RunnableConfig
) -> dict[str, Router]:
"""Analyze the user's query and determine the appropriate routing."""
model = ChatOpenAI(model=GPT_4o, temperature=TEMPERATURE, streaming=True)
messages = [
{"role": "system", "content": ROUTER_SYSTEM_PROMPT}
] + state.messages
logging.info("---ANALYZE AND ROUTE QUERY---")
response = cast(
Router, await model.with_structured_output(Router).ainvoke(messages)
)
return {"router": response}
### 第二步:创建研究计划
如果查询分类返回"environmental",用户的请求与文档相关,工作流将到达"create_research_plan"节点。该节点的功能是为回答与环境相关的查询创建逐步研究计划。
async def create_research_plan(
state: AgentState, *, config: RunnableConfig
) -> dict[str, list[str] | str]:
"""Create a step-by-step research plan for answering an environmental-related query."""
class Plan(TypedDict):
"""Generate research plan."""
steps: list[str]
model = ChatOpenAI(model=GPT_4o_MINI, temperature=TEMPERATURE, streaming=True)
messages = [
{"role": "system", "content": RESEARCH_PLAN_SYSTEM_PROMPT}
] + state.messages
logging.info("---PLAN GENERATION---")
response = cast(Plan, await model.with_structured_output(Plan).ainvoke(messages))
return {"steps": response["steps"], "documents": "delete"}
### 第三步:开展研究
这一步会从研究计划中取出第一个步骤,并调用研究者子图来执行研究。研究者子图会返回一系列文档片段,我们将在后续步骤中进一步处理。
async def conduct_research(state: AgentState) -> dict[str, Any]:
"""Execute the first step of the research plan."""
result = await researcher_graph.ainvoke({"question": state.steps[0]}) # graph call directly
docs = result["documents"]
step = state.steps[0]
logging.info(f"n{len(docs)} documents retrieved in total for the step: {step}.")
return {"documents": result["documents"], "steps": state.steps[1:]}
### 第四步:研究者子图构建
研究者子图包含两个关键步骤:
**1. 查询生成步骤**:根据研究计划中的问题生成多个搜索查询,以帮助回答问题。
async def generate_queries(
state: ResearcherState, *, config: RunnableConfig
) -> dict[str, list[str]]:
"""Generate search queries based on the question."""
class Response(TypedDict):
queries: list[str]
logger.info("---GENERATE QUERIES---")
model = ChatOpenAI(model="gpt-4o-mini-2024-07-18", temperature=0)
messages = [
{"role": "system", "content": GENERATE_QUERIES_SYSTEM_PROMPT},
{"role": "human", "content": state.question},
]
response = cast(Response, await model.with_structured_output(Response).ainvoke(messages))
queries = response["queries"]
queries.append(state.question)
logger.info(f"Queries: {queries}")
return {"queries": response["queries"]}
**2. 文档检索步骤**:使用混合搜索和Cohere重排技术,从向量数据库中检索相关文档。
def _setup_vectorstore() -> Chroma:
"""Set up and return the Chroma vector store instance."""
embeddings = OpenAIEmbeddings()
return Chroma(
collection_name=VECTORSTORE_COLLECTION,
embedding_function=embeddings,
persist_directory=VECTORSTORE_DIRECTORY
)
# Create base retrievers
retriever_bm25 = BM25Retriever.from_documents(documents, search_kwargs={"k": TOP_K})
retriever_vanilla = vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": TOP_K})
retriever_mmr = vectorstore.as_retriever(search_type="mmr", search_kwargs={"k": TOP_K})
ensemble_retriever = EnsembleRetriever(
retrievers=[retriever_vanilla, retriever_mmr, retriever_bm25],
weights=ENSEMBLE_WEIGHTS,
)
# Set up Cohere re-ranking
compressor = CohereRerank(top_n=2, model="rerank-english-v3.0")
compression_retriever = ContextualCompressionRetriever(
base_compressor=compressor,
base_retriever=ensemble_retriever,
)
技术亮点:这里使用了三种检索器的集成(相似度检索、MMR检索、BM25检索),再经过Cohere重排,大大提高了检索的准确性。
### 第五步:检查是否完成 这一步通过检查研究计划中是否还有剩余步骤来确定研究过程是否完成。如果还有步骤,工作流将返回"conduct_research"节点继续执行;如果没有剩余步骤,则进入"respond"节点生成最终回应。def check_finished(state: AgentState) -> Literal["respond", "conduct_research"]:
"""Determine if the research process is complete."""
if len(state.steps or []) > 0:
return "conduct_research"
else:
return "respond"
### 第六步:生成回应
这一步根据研究过程中检索到的文档和对话历史,生成对用户查询的最终回应。它利用语言模型将所有相关信息整合成一个全面的答案。
async def respond(
state: AgentState, *, config: RunnableConfig
) -> dict[str, list[BaseMessage]]:
"""Generate the final response to the user's query."""
model = ChatOpenAI(model="gpt-4o-2024-08-06", temperature=0)
context = format_docs(state.documents)
prompt = RESPONSE_SYSTEM_PROMPT.format(context=context)
messages = [{"role": "system", "content": prompt}] + state.messages
response = await model.ainvoke(messages)
return {"messages": [response]}
### 第七步:检查幻觉
这一步会分析语言模型生成的回应,判断其是否得到了检索到的文档事实的支持,并给出一个二进制评分结果。
关键点:如果评分表明回应可能包含幻觉,工作流将被中断,并提示用户决定是否重新生成回应或结束流程。
async def check_hallucinations(
state: AgentState, *, config: RunnableConfig
) -> dict[str, Any]:
"""Analyze the response for hallucinations."""
model = ChatOpenAI(model=GPT_4o_MINI, temperature=TEMPERATURE, streaming=True)
system_prompt = CHECK_HALLUCINATIONS.format(
documents=state.documents,
generation=state.messages[-1]
)
messages = [
{"role": "system", "content": system_prompt}
] + state.messages
logging.info("---CHECK HALLUCINATIONS---")
response = cast(GradeHallucinations, await model.with_structured_output(GradeHallucinations).ainvoke(messages))
return {"hallucination": response}
### 第八步:人工审批(人工参与)
如果语言模型的回应未得到事实支持,可能包含幻觉,此时工作流将暂停,并将控制权交给用户。
交互方式:用户可以选择仅重新执行最后的生成步骤,而无需重新启动整个工作流,或者选择结束流程。这种人工参与机制确保了用户对整个过程的控制,避免了不必要的循环或不期望的操作。
def human_approval(state: AgentState):
_binary_score = state.hallucination.binary_score
if _binary_score == "1":
return"END"
else:
retry_generation = interrupt(
{
"question": "Is this correct?",
"llm_output": state.messages[-1]
}
)
if retry_generation == "y":
print("Continue with retry...")
return"respond"
else:
return"END"
四、实战测试:多智能体RAG的强大能力
为了验证系统的性能,我们使用了一份关于谷歌环境可持续性战略的年度报告进行了测试。这份报告包含了丰富的数据和复杂的表格结构,非常适合用来测试系统的多步骤处理能力和文档解析功能。 ### (一)复杂问题测试 我们提出了一个复杂的问题:"检索新加坡第二个数据中心2019年和2022年的PUE效率值,以及2023年亚太地区的区域平均CFE值。" 系统成功地将这个问题拆解为多个步骤,并生成了相应的查询: - "查找新加坡第二个数据中心2019年和2022年的PUE效率值。" - "查找2023年亚太地区的区域平均CFE值。" 通过检索和重排文档,系统最终给出了准确的答案: - 新加坡第二个数据中心2019年的PUE效率值未提供,但2022年的PUE为1.21 - 2023年亚太地区的区域平均CFE为12% ### (二)与ChatGPT的对比测试 为了进一步验证系统的可靠性,我们将同样的问题提交给了ChatGPT。结果发现,ChatGPT返回的值是错误的,明显出现了幻觉现象。 这表明,在处理复杂问题时,简单的语言模型可能会生成不准确的信息,而我们的多智能体RAG系统通过幻觉检查步骤能够有效避免这种情况。 ## 五、常见问题解答 **Q1:这个系统可以处理哪些类型的文档?** A:Docling支持PDF、DOCX、PPTX、XLSX、图片、HTML、AsciiDoc和Markdown等多种格式。特别适合包含复杂表格结构或扫描件的PDF文档。 **Q2:系统如何处理超长文档?** A:系统会自动将文档拆分成句子级别的向量嵌入,存储在Chroma数据库中。检索时通过混合搜索和重排技术,只返回最相关的top-k文档片段。 **Q3:如果用户查询超出文档范围,系统会怎样?** A:路由智能体会将这类查询分类为"general"类型,工作流将直接路由到"respond_to_general_query"节点,利用语言模型的基础知识直接回答。 **Q4:系统延迟问题如何解决?** A:这是当前面临的主要挑战之一。可以通过优化检索参数(如减少top_k值)、使用更快的基础模型、或配置流式输出来改善用户体验。 **Q5:如何验证系统是否出现幻觉?** A:系统内置了`check_hallucinations`节点,会分析LLM生成的回应是否与检索到的文档事实一致,并给出二进制评分。如果评分显示存在幻觉,工作流会暂停并请求人工确认。 ## 六、技术挑战与展望 尽管多智能体RAG在性能上有显著提升,但在实际应用中仍面临一些挑战: - **延迟问题**:由于智能体交互的复杂性增加,响应时间可能会变长。如何在速度和准确性之间取得平衡是一个关键挑战。 - **评估与可观测性**:随着多智能体RAG系统变得越来越复杂,持续的评估和可观测性变得必不可少。
未来展望:多智能体RAG是人工智能领域的一项重大突破。它将大型语言模型的能力与自主推理和信息检索相结合,引入了一种新的智能和灵活性标准。随着人工智能的不断发展,多智能体RAG将在各个行业中发挥基础性作用,彻底改变我们使用技术的方式。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:深度学习:构建基于LangGraph的RAG多智能体研究工具要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点Qwen3通过全谱系模型(0 6B至235B)、混合推理与真开源策略,满足从端侧到云端多样化部署需求,支持Agent开发与低代码构建。其技术突破与产业验证提振了AI应用投资信心,成为开发者与企业的理想基座模型。
对于绝大多数个人、企业乃至整个社会来说,最重要的资产是什么?答案可能会让人有些意外——是知识。 今天,知识这种无形的智力资产,已经在财富创造中占据了主导地位。它不仅能直接带来收益,比如技能、专利、许可、品牌等创新成果,还能融入文化、体系和业务流程,帮企业构建持久的竞争优势。 正因如此,有学者指出,工
先聊几句背景。建筑行业一直是一个“慢变量”的领域——项目周期长、参与方众多、信息碎片化问题严重。但随着AI大模型的爆发,越来越多的人开始认真思考:这个传统行业究竟能否真正实现“智能化”?答案是肯定的,但关键要走对路径。今天,我们以知识图谱这一技术基石为切入点,探讨它如何在建筑垂直领域助力大模型真正落
清华大学提出集成衍射光子神经网络芯片,利用亚波长结构突破集成度瓶颈,实现计算单元大规模片上拓展。该芯片计算吞吐量达1 38×10⁴TOPS,算力密度10¹⁶FLOPS mm²,能耗仅10⁻¹⁷J FLOP,具有完全自主知识产权并与CMOS工艺兼容。
- 日榜
- 周榜
- 月榜
热点快看
