RAG检索最新成果：MemLong内存增强检索
大语言模型（LLMs）在各领域表现亮眼，但一碰到长文本就容易“露怯”。问题出在哪？两大硬伤：注意力机制的计算量随序列长度平方增长，生成时缓存键值对的内存占用也线性攀升。说白了，序列一长，模型既算不动也存不下。 更让人头疼的是，检索增强生成（RAG）虽然能补充外部知识，但检索回来的信息如果超出模型能处
大语言模型（LLMs）在各领域表现亮眼，但一碰到长文本就容易“露怯”。问题出在哪？两大硬伤：注意力机制的计算量随序列长度平方增长，生成时缓存键值对的内存占用也线性攀升。说白了，序列一长，模型既算不动也存不下。
更让人头疼的是，检索增强生成（RAG）虽然能补充外部知识，但检索回来的信息如果超出模型能处理的上限，反而会拖后腿——生成质量不升反降（见下图黄色部分）。这时，一个叫 MemLong 的方法站了出来：它像给模型外设了一个“记忆银&行”，专门存储历史上下文，需要时再精准调取。
这项研究的目标很明确：既能高效处理长文本，又不牺牲短文本上的表现；既要扩展上下文长度，又要保证计算效率。MemLong 的检索与记忆机制如下图所示（具体流程见原文配图），简单说就是：把过去的上下文和知识存进一个不可训练的记忆库，然后从中检索块级的键值对，喂给模型。
关键思想
提出 MemLong——一种高效、轻量的 LLM 扩展方法。
核心思路：将过去的上下文和知识存储在一个不可训练的记忆库中，并利用这些存储的嵌入来检索块级键值（K-V）对，供模型输入。
MemLong 适用于任何仅解码器的预训练语言模型：只需添加一个用于记忆和检索的 ret-mem 组件，以及一个融合局部与记忆信息的检索因果注意力模块。
这其实是一个组合拳：把不可微分的检索-记忆模块和部分可训练的解码器语言模型结合起来，从而增强长文本上下文建模能力。外部检索器负责挖历史信息，再通过细粒度、可控的检索注意力机制，将语义相关的信息块整合到模型中。这样做不仅提升了模型处理长文本的能力，还能保持信息分布的一致性，避免训练过程中间出现分布偏移。
来看一个具体示例。底层模型保持静态，对整个数据块 Ci 进行因果语言建模；随后，Ci 被缓存为嵌入和键值对形式。上层则进行微调，协调检索偏好并整合检索到的内容。整个流程清晰而克制，不需要大动干戈地改模型结构。
论文：https://arxiv.org/pdf/2408.16967
代码：https://github.com/Bui1dMySea/MemLong/blob/main/run_clm_no_trainer.py
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：RAG检索最新成果：MemLong内存增强检索要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点AuthGPTs是基于Next js的开发者工具，提供OAuth2 0授权、OTP邮件集成、端点安全、API管理及支付系统等开箱即用功能，可快速将GPT应用转化为完整SaaS产品，显著缩短开发上线时间，并内置用户管理与数据分析模块，助力开发者快速实现商业化。
ElusidateAI数据展示分析平台从原始数据到报告一步完成，无需手动拼接。适用于数据分析师、市场调研团队等场景，支持Excel、服务器日志、数据库接入。内置柱状图、折线图、热力图等丰富图表，报告可交互、支持实时数据更新。
WattoAI面向产品经理，可智能整合多平台信息并生成高质量文档，覆盖产品需求文档、发布邮件及SWOT分析等场景。其核心优势在于信息整合、专业文档生成及丰富模板辅助，有效提升办公效率。
BinoBot是一款AI驱动的智能交易机器人，融合技术分析、风险管理与可自定义策略，服务于不同经验水平的投资者。通过自动化执行交易决策、控制风险并减少情绪干扰，帮助用户提升效率、释放盯盘时间，实现相对稳定的投资回报。
- 日榜
- 周榜
- 月榜
热点快看