RAG发展方向三点感触与语言文化分析两大任务

本期内容聚焦于RAG技术的发展现状与未来趋势，同时分享两个关于语言文化分析的创新成果。主要涵盖三大部分：一是RAG技术框架的局限性与演进方向，二是GraphRAG的潜力与进化路径，三是语言文化分析的两个有趣案例——历史数据演变分析与大模型语言特征研究。

时光飞逝，转眼间2025年5月已经过半。回望过去这一年，知识图谱、RAG、文档智能等领域涌现了大量新成果：GraphRAG、DeepResearch层出不穷，Mineru、Mistralocr等文档解析工具持续迭代，Qwen3也已正式发布。可以说，2024年堪称技术大爆发的年份。

然而进入5月后，行业似乎突然安静了许多？不少GitHub项目的更新频率明显放缓，新模型发布也未引发太大反响。这究竟意味着进入了静默期、疲劳期，还是所谓的爬坡期？无论如何，在RAG这个方向上，有几个体会值得深入探讨。

此外，本期还分享两个语言分析领域的亮点：其一是利用历史数据进行演变分析，其二是借助大模型研究语言本身的特征——都颇具趣味。

请记住核心思路：抓住根本问题，深耕根因分析、专题化与体系化，唯有如此才能催生更多深度思考。一起共勉。

一、关于RAG的三点体会

1、“一周出Demo，半年难落地”——这一规律恐怕长期成立

RAG终究只是一个技术框架，并非解决问题的终极方案。真正的难点始终落在特定业务场景和具体业务问题上，必须因事制宜、逐项攻克。这一规律不会改变。从技术方案来看，目前已经涌现出大量变体：查询改写、拆解或Hyde方案、各类Embedding向量化、混合检索、排序与重排序去噪、提示词组装侧的多种策略、生成结果侧的引用生成与自修正，甚至将整个流程嵌套进循环形成AgenticRAG式的DeepResearch；还有ColQwen等多模态RAG方案。开源框架方面，coze、dify等低代码拖拽工具，以及RAGflow、LangChain、LlamaIndex、CheerpStudio等，都能在半天内搭建一个RAG系统。

但问题在于，这些框架同质化现象严重，真正做出差异化并不容易。许多方案无非是将多模态数据接入、实时数据接入，或者先期做好文档智能——例如DeepDoc等方向。基于这一现状，RAG的重要性实际上在下降。它的性价比不高，解决的也并非刚性需求。未来的演进方向更像是将RAG退化为一个子组件，嵌入到更大的系统——Agent——之中。当前整个行业正朝着这个方向迈进。

2、GraphRAG的进一步演化空间其实已不多

GraphRAG过去之所以能涌现出众多创意，根本原因在于其基本特性。图结构（或知识图谱）具备结构化属性——通过关键词、实体、关系的抽取，可以实现信息精炼与去噪，同时提供信息组织和关联的锚点。此外，图结构本身蕴含相关性，可进行多跳、广度或深度游走，解决召回全面性问题。微软的local search方案就是一个例子，能够提升对特定实体的回答覆盖度。结合社区发现等算法进行层级摘要，还能完成文档总结。在量化层面，PageRank、中心度算法、最短路径、node2vec等图算法也为数据量化提供了新思路。

那么，还能做什么？从结构化角度，可以引入多模态节点——将图像、文本、视频、段落、层级等更多模态信息链接起来，设计更合适的节点类型，这就构成了多模态GraphRAG的雏形。从相关性角度，关键在于路径剪枝——如何找到与问题具有因果关系的路径，实现更精准的去噪和上下文精简，这一挑战难度较大。从量化角度，下一步可能走向图神经网络（GNN），但数据建模的难度将更大。

当然，如果能切中热点，仍然有挖掘空间。例如，与Agent的记忆系统结合，基于图结构进行记忆管理，增强智能体的个性化体验——代表性工作包括mem0和Graphiti。再如，与R1、思维链结合，利用GraphRAG进行可解释推理数据的合成——MedReason就是这类探索。只要热点不断，总能找到可对接的落点。

3、文档解析值得做，但不必过度投入

大模型应用，尤其是RAG的热潮，将文档解析的需求和重视度推至新高——这也是我过去一年的工作重点。逻辑很简单：RAG涉及要素召回，文档解析的效果直接影响切分质量与问答效果。例如处理不可编辑的PPT或PDF，若使用传统PdfMiner、PyPDF等工具，表格、图片很可能出现错乱。这就催生了看似完备的文档解析需求：覆盖不同领域、不同版式的文档，进行版面分析（表格、图片、页眉页脚、段落、标题、图表标题、公式等区域检测），表格解析（有线、无线、缺线、研报表格、金融长表转HTML或LaTeX用于TableQA），公式解析、段落标题OCR、阅读顺序恢复，以及去水印、去印章、手写体识别、多栏顺序纠偏等——这些其实都是OCR领域的常规任务，已发展多年，并非新兴领域。

但说实话，文档解析对RAG固然重要，却并非关键瓶颈。当前大模型对段落、标题等要素处理效果不错，但对公式、表格、图表、图片的消化能力仍十分有限，而这类要素却占用了大量研发时间。况且，大模型对偶发的段落错乱、文本乱序具有不错的容错性。基于这一判断，将文档解析做得过于深入和复杂，性价比并不高。重点仍应放在文字部分的处理：做好版面分析，将对应元素区域进行隔离区分，已能覆盖大部分场景的需求。至于表格解析、公式解析，性价比实际上并不高。

目前业内对文档层级结构非常重视，力求实现完美的Markdown恢复。但这并非刚性需求，它属于另一个文本恢复领域，主要用于文档格式转换与复原——比如PDF转Word、PDF转PPT，这类场景下需要高保真、不遗漏每个要素。然而这一场景与RAG无关，与LLM关系也不大。当然，如果做得好，RAG体验会更好，逻辑没错，但关键还是要权衡投入产出比——这笔账是否划算。

因此，RAG向前发展，有些经验值得总结，有些趋势可以预判，这些方向都值得深入探讨。

二、关于语言的几个有趣切入点

接下来看几个有意思的案例。

其一是数据集方面的历史报纸语料。美国新闻报纸数据库覆盖了1780年至1960年，Melissa Dell及其合作者利用美国公共图书馆近2000万份报纸扫描件，构建了约11.4亿篇文本数据，链接为https://huggingface.co/datasets/dell-research-harvard/AmericanStories。这类数据与之前收集的人民日报历史数据配合使用，对历史研究具有重要价值。甚至可以将这些数据接入大模型，让模型进行分析，提取观点与演变趋势，都是非常有意思的尝试。

另一个案例聚焦于大模型本身。大模型已成为大规模内容的生产工具，如果将不同的大模型视为不同的“创作者”，它们在内容产出上会呈现出怎样的特征？这方面有一篇值得关注的论文：《A Comprehensive Analysis of Large Language Model Outputs: Similarity, Diversity, and Bias》（https://arxiv.org/pdf/2505.09056）。研究发现，对12个主流大语言模型生成的300万份文本进行分析后，揭示了模型在输出内部相似性（普遍高于人类）、跨模型风格差异、多样性以及潜在偏见等方面的特点。例如，GPT-4具有独特的词汇风格，但在深层语义上与GPT-3.5相似；而Gemma-7B和Gemini-pro在偏见方面相对均衡。这些发现都颇具启发性。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：RAG发展方向三点感触与语言文化分析两大任务要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题