实现AI类人记忆的架构设计

一种让 AI 像人一样记忆的架构

首先提出一个关键判断：当前市面上的记忆方案，大多偏离了正确方向。它们将记忆视为数据存储问题来解决，结果越做越像数据库，越不像人类。但问题的本质在于，AI 需要的是认知结构，而非数据仓库。

一、现有记忆系统的困境

目前公开的记忆方案（如 Mem0、Letta/MemGPT、Zep 等）普遍采用以下模式：

用户输入 → 自动全量检索 → Top-K 召回 → 注入上下文 → 生成回复

这个模式在工程上看似直观，但存在三个难以回避的问题：

1. 上下文污染

自动召回的 Top-K 记忆往往包含与当前问题无关的内容。向量相似度找到的是“语义相近”，而非“问题相关”。当用户询问“苹果怎么选”时，系统可能召回“苹果手机评测”——因为两者的向量确实接近。

2. Token 浪费

每次查询都需要自动检索全部记忆，导致大量 Token 消耗在“可能用不到的信息”上。Mem0 的公开数据显示，单次查询平均消耗约 7,000 tokens，其中相当一部分属于低价值召回。

3. 用户失控

用户无法决定“这次对话需要多深的记忆”。系统替用户做了决定——而且往往是“尽可能多召回”的决定。这使得 AI 的回答被无关记忆稀释，反而降低了质量。

更深层的矛盾在于：这些系统把记忆当成了数据存储问题，而不是认知结构问题。

二、另一种思路：像人一样的记忆结构

人类的记忆并非数据库。人不会每次被问到问题时，自动在脑子里搜索所有相关记忆。人的记忆是：

• 有层次的：有些记得很牢（常用知识），有些想不起来（久远细节）
• 有惰性的：不会自动想起所有相关的事，而是先给出直觉回答
• 有深度的：浅层回忆先响应，深层回忆按需触发——而且需要时间和线索
• 有质量的：人记住的不是原始对话的逐字记录，而是整理后的理解

基于这种观察，可以设计一种三层记忆架构：

热层：当前对话上下文

即当前这一轮对话的原始内容。与现有系统一样，直接参与生成。它的特点是瞬时、完整、未加工。

温层：加工后的结构化记忆

这是整个系统的核心。

温层不是原始对话的缓存，而是原始对话经过语境化压缩后的产物。一段可能包含多个话题的原始对话，会被整理成若干段精炼的叙述性记忆。每段记忆保留完整细节，但去除冗余和重复。

关键特性：

• 温层独立存储，不是冷层的引用
• 温层内容是加工后的理解，不是原始数据
• 温层带有两层标签（大类标签 + 关键词标签），用于快速过滤和召回
• 温层的生长速度是次线性的——新信息被整合进已有叙述，而非不断追加新条目

冷层：原始记忆库

冷层存储完整的、未加工的历史数据。它不直接对外提供检索，只在特定条件下被唤醒。

冷层与温层通过 ID 绑定，保证数据一致性。当温层中的某段记忆需要更新或补充时，可以追溯到冷层的原始来源。

三、核心机制：按需唤醒

与自动全量检索不同，这个系统的回忆流程是：

用户输入 → 语义识别（是否需要回忆？）→ 温层检索（两层标签过滤）→ 生成回复
↓
用户反馈“不够”？
↓
触发深度回忆 → 冷层检索 → Agent分析 → 补充到温层

第一层：语义识别

系统首先判断用户的问题是否需要调用记忆。闲聊、简单问答不需要回忆；涉及历史偏好、过往决策、个人习惯的问题才触发检索。

第二层：温层检索

如果确定需要回忆，先查温层。温层的检索使用两层标签过滤：

• 大类标签：快速排除明显无关的领域（如“工作”vs“生活”）
• 关键词标签：在候选集中精确召回相关记忆

温层检索是默认层，响应速度快，召回质量高——因为温层已经是加工后的结构化内容。

第三层：深度回忆（冷层）

温层检索后，系统生成回复。如果用户觉得信息不够（显式反馈“再详细点”或隐式追问），才触发冷层深度回忆。

冷层检索不是自动的，而是按需的。它允许更高的延迟和更深的挖掘，因为用户已经表达了“需要更多”的意图。

关键设计：温层 miss（没有相关记忆）时，系统不会自动去查冷层。没有就是没有——不强行编造回忆。

四、语境化压缩：为什么不是精细结构化

很多记忆系统尝试把对话拆成结构化的字段（category / topic / summary / tags）。这种方案在数据库时代很直观，但对 LLM 来说未必最优。

LLM 是语言模型，不是数据库查询引擎。给它一段精炼的自然语言叙述，比给它一堆 YAML 字段，召回和生成的质量都更高。

语境化压缩的核心是：

• 保留原始对话的所有关键细节
• 去除重复、冗余、口语化表达
• 整理成一段连贯的叙述性文本
• 不拆成字段，不丢失语境

例如，一段关于技术选型的原始对话，压缩后可能是：

这段叙述没有字段、没有标签、没有结构化格式，但 LLM 在后续对话中读到它时，能自然理解其中的三个独立决策和它们之间的关联。

更重要的是：随着对话深入，新信息会被整合进已有叙述，而不是追加新条目。这意味着主上下文的增长速度从线性变为次线性——这是实现近似无限上下文的关键。

五、记忆与执行的解耦

在这个架构中，主对话上下文只负责一件事：记住。

所有的具体执行（查天气、调 API、写文件、跑代码）都由子 agent 完成。子 agent 是无状态的——每次调用都是干净的，不承载历史记忆。

这种解耦带来了几个好处：

• 主上下文纯净：只生长记忆，不污染执行逻辑
• 子 agent 可靠：无状态意味着可预测、可重试、不累积错误
• 上下文可控：执行痕迹不会膨胀主上下文，记忆和动作彻底分离

这与现有 Agent 框架的一个根本区别是：现有框架往往让 Agent 自己记、自己执行，记忆和执行混在一起，导致上下文爆炸和错误累积。

六、与现有方案的对比

七、设计哲学：为什么这样更好

这个架构的核心假设是：AI 的记忆应该继承人类认知的结构特性，然后用确定性算法替代人类的随机性。

人类的记忆不是缺陷——“有时候想不起”不是 bug，而是大脑在节省能量、避免噪声。AI 应该继承这种“自适应惰性”：

• 不自动想起所有事（避免上下文污染）
• 想得起的时候能深挖（冷层按需唤醒）
• 记住的是整理后的理解（温层加工），不是原始数据
• 允许可控的延迟（深度回忆需要时间，但 AI 的延迟是毫秒级）

同时，AI 的优势在于：

• 加工质量稳定（不会像人一样“记混了”）
• 检索逻辑精确（两层标签 + 语义触发，不是模糊联想）
• 一致性可保证（ID 绑定，温层冷层始终同步）

这不是让 AI 模仿人类的行为，而是让 AI 继承人类认知的结构，然后用工程手段消除人类的随机性。

八、当前状态与验证进展

这套架构目前处于设计文档阶段。核心设计思路已通过以下方式验证：

• 温层整理效果：通过 Prompt 试验验证，对话整理后能在不丢失细节的前提下显著压缩体积，且 LLM 对整理后的叙述召回质量高于原始对话。
• 架构自洽性：热/温/冷三层联动、按需唤醒流程、两层标签过滤机制在概念层面已闭环。

尚未完成的部分：

• 完整系统的工程实现（热/温/冷三层联动、语义触发器、回忆机制）
• 长周期对话下的上下文膨胀实测
• 与现有记忆系统的基准对比测试

九、结语

AI 记忆系统的发展方向，不应该是“让 AI 记住更多”，而应该是“让 AI 记住更对”。

自动全量检索追求的是“不漏”，但代价是“不精”。按需唤醒追求的是“在正确的时间召回正确的记忆”——即使这意味着有时候“不召回”。

人回忆需要时间。AI 花点时间，也正常。

本文讨论的是一种个人 AI 终身记忆架构的设计思路，欢迎讨论、质疑和共建。