基于图的智能体记忆:学习笔记

2026年10月20日 16 min

智能体记忆的生命周期与分类,以及图结构下的记忆存储、检索和持续演化。

智能体记忆的生命周期

生命周期可以分为记忆提取、记忆存储、记忆检索、记忆演化四个部分。

  1. 记忆提取:将原始的非结构化观测 $o_{t}$ 转化为结构化的记忆单元 $m$。
  2. 记忆存储:通过适当的索引与结构化组织,将提取出的记忆单元组织并安置到记忆结构 $\mathcal{M}$ 中。
  3. 记忆检索:响应查询 $q$ 检索所存储的相关信息 $\mathcal{M}_{\text{rel}}\subset\mathcal{M}$ 的机制。
  4. 记忆演化:对记忆进行提炼的后处理阶段,包括内部自演化机制(例如巩固、抽象)和外部自探索过程(例如新的环境反馈)。
图 1:展示 AI 智能体系统工作流程以及记忆系统具体实现方案的示意图。
图 1:展示 AI 智能体系统工作流程以及记忆系统具体实现方案的示意图。

智能体记忆多维度分类

智能体记忆可以划分为多维度,包括时间跨度、功能角色以及表示结构。

时间跨度

  • 短期记忆:留存近期、即时相关的信息,具备快速访问的能力,但容量有限。包括当前对话上下文、正在进行的推理轨迹以及瞬时状态变量。通常在即时任务完成后即被丢弃,但其中的关键重要元素可能会被巩固沉淀至长期存储中。
  • 长期记忆:跨会话持久存储信息,包括积累的知识、历史交互、习得的模式以及用户偏好。长期记忆支持跨交互片段的连贯性,赋能迁移学习,并为在更长时间尺度上实现个性化与自适应行为奠定坚实基础。

记忆认知结构

  • 语义记忆:存储通用的、脱离具体情境的世界知识和事实性信息(例如“巴黎是法国的首都”)。在图结构中,它构成了稳定的本体层,提供常识和特定领域事实,作为智能体推理的可靠基础。
  • 程序记忆:编码技能、例行程序与固定规则。它代表“操作规程”类知识(how-to knowledge),例如标准作业程序或游戏规则。在实际应用中,这使智能体能够在标准条件下自动执行复杂的既定任务。
  • 联想记忆:在知识库内的不同概念或数据点之间建立潜在关联。通过连接相关联的信息片段(例如症状与诊断之间的关联,或商品与类别之间的映射),它能够促进创造性推理和类比思考,充当知识图谱中的连接纽带。
  • 工作记忆:充当智能体处理即时经验的“心智草稿纸”。它临时暂存当前对话轮次、中间推理步骤和瞬态变量。尽管具有瞬时性,但它是所有经验记忆的入口,其特点是访问极快且直接决定智能体的下一步行动。
  • 情景记忆:按时间顺序记录过往交互会话的序列。它将瞬态的工作记忆转化为持久且可查询的自传式历史。例如,它记录下某位用户曾要求提供素食选项或取消过某笔订单。这使智能体能够回忆起“何时发生了何事”,提供明确的时间锚定。
  • 情感记忆:捕捉交互过程中衍生的情绪基调或情感倾向。通过记录用户反馈或挫败感程度,智能体能够在后续交互轮次中调整其同理心和沟通风格。该层级为原始交互日志增添了定性的情感维度。

两大类型

静态知识记忆与动态经验记忆之间的协同作用,使智能体既能理解世界的固有规律,又能自适应融入个性化的人机交互。

  • 知识记忆(被动且静态):代表智能体对客观、全局且可验证信息的被动且静态的储备。其功能类似于内部参考图书馆或教科书,包含规范性事实、通用规则、既定规程以及关于世界的一般性规律。这类记忆通常预先加载、极少更新,且独立于具体上下文。其核心目的在于为推理与行动提供稳定、可靠的基石。例如,它存储概念的事实定义、游戏的固定规则或标准的科学原理。在实际应用中,购物智能体的商品数据库或机器人的通用可供性模型均属于知识记忆。总体而言,这类记忆是被动的,充当逻辑推理的可靠事实支柱。
  • 经验记忆(主动且动态):这是智能体专属的个人日志,主动记录其具体的交互过程、环境观测以及行动结果。它涵盖用户对话历史、执行日志、试错轨迹与反馈信号。例如,它记录下某位特定用户需要素食千层面变体、某次基于均值回归策略的交易实际上导致了亏损,或者标准抓取流程在潮湿马克杯上执行失败。这类记忆是动态且高度个性化的,构成了从实践中学习并适应特定情境的基础。
图 2:智能体记忆的两大类型,即“知识记忆”(Knowledge Memory)与“经验记忆”(Experience Memory),以及它们在不同智能体场景中的应用。静态知识记忆与动态经验记忆之间的协同作用,使智能体既能理解世界的固有规律,又能自适应融入个性化的人机交互。
图 2:智能体记忆的两大类型,即“知识记忆”(Knowledge Memory)与“经验记忆”(Experience Memory),以及它们在不同智能体场景中的应用。静态知识记忆与动态经验记忆之间的协同作用,使智能体既能理解世界的固有规律,又能自适应融入个性化的人机交互。

(非)结构化记忆

传统的智能体记忆系统通常采用简化的存储范式,主要包括:

  • 基于线性或缓冲区的记忆:例如固定长度的 token 窗口或对话历史记录,这类记忆能够保留近期的交互信息,但存在信息丢失问题且缺乏关系上下文。
  • 基于向量的记忆:将交互信息编码为存储在向量数据库中的稠密嵌入,从而支持高效的基于相似度的检索,但在结构化推理与层次关系建模方面存在局限。
  • 基于键值对或日志的记忆:将事件记录在时序日志或“属性–值”对中,支持直接查找,但在处理复杂查询或动态更新时表达能力有限。

记忆存储

图 3:智能体记忆系统图构建范式的全面分类体系:涵盖构建方法论、对应的记忆功能,以及各项技术的优缺点对比分析。
图 3:智能体记忆系统图构建范式的全面分类体系:涵盖构建方法论、对应的记忆功能,以及各项技术的优缺点对比分析。

知识图谱结构

知识图谱建模

为智能体构建知识图谱,涉及从非结构化交互流中持续提取并融合结构化三元组。主流方法高度依赖大语言模型作为强大的开放词表解析引擎。

在 AriGraph 世界模型中,LLM 解析来自环境的每一条文本观测,以识别相关对象并以三元组形式提取其内在关系。类似地,Mem0等系统在提取阶段利用 LLM 将对话消息转化为“实体–关系–实体”三元组。该方法显著优于传统的命名实体识别(NER)和关系分类流水线,因为 LLM 能够泛化到未见过的细粒度实体类型,并基于深度上下文理解挖掘隐式语义关系。

对应的记忆类型

知识图谱基于三元组的结构使其极其适合实现长期静态记忆类型。这包括通用的世界常识(例如 (巴黎, 首都, 法国))以及固定不变的领域特定概念。显式的关系格式支持高效存储和复杂的多跳查询,而这正是基于向量的检索器所难以胜任的。此外,通过为三元组补充时序元数据,或将其与情景事件节点相链接(将情景顶点与同一观测中提取的三元组相连),知识图谱同样能够对情景记忆提供稳健支持。

当然,知识图谱也支持动态构建和修改,因为知识、指南手册等信息也是会变化的。

层次化记忆结构

层次化记忆通过将信息组织成多级树状结构,它提供了一种逻辑严密的层级结构,将庞杂的海量经验压缩为易于调用的知识图式。这一固有特性赋予其卓越的能力:既支持自顶向下的分层遍历以检索抽象主题,又支持自底向上的聚合摘要以维持海量记忆库的全局连贯性。MemTree 等系统正是采用了这种机制,通过树层级结构对新信息进行动态路由,在既有节点下聚类相似内容,同时为新颖信息开辟全新分支,并促使所有祖先节点自底向上递归更新其语义摘要以反映新吸收的知识。

层次化记忆的构建主要依赖两大核心过程:用于空间组织的语义聚类,以及用于概念提炼的递归摘要。为了维持层级结构作为高度压缩知识图式的价值,每个父节点都会动态生成对其子树所包含全部信息的紧凑自然语言摘要。

除上述静态事实知识外,该结构还具体体现为会话或序列记忆。在此形态下,单句陈述或对话轮次主要依据其在特定会话内的时间先后顺序或对话上下文流转进行关联。这构建了一条时间线或叙事链,对于在单一交互片段内建模对话连贯性以及追踪用户意图演变至关重要。

时序图结构

双时间维度建模

在智能体记忆中,一个关键区别在于事件发生的实际时间(有效时间,valid time)与该事件被记录到系统中的时间(事务时间,transaction time)。Graphiti 实现了同时追踪这两个时间维度的双时序模型。

在跨会话对话中,相对时间表述(例如“上周五”)极易引发语义歧义。TReMu 采用了一种感知时间的记忆机制,将提及时间(会话发生的时间戳)与推断出的事件实际发生时间进行解耦。

层次化时间约束

**MemoTime**的提出旨在杜绝推理链中的逻辑时序幻觉(例如检索出发生在原因之前的结果)。该框架将 TKG 的推理过程组织为层次化的“时间之树”(Tree of Time)。该结构确保检索到的任何推理路径 $e_{1}\to e_{2}\to e_{3}$ 都严格遵循时间先后顺序($t_{1}\leq t_{2}\leq t_{3}$)。这种感知算子的结构设计使智能体能够高效剪枝剔除在语义上看似相关但在时间维度上无效的证据。

日期事件
10 月 14 日旧环境测试通过
10 月 15 日升级 Python
10 月 16 日修复升级后的依赖问题
10 月 17 日新环境测试通过

子问题树(时间之树,由 LLM 生成)可以这样理解:

text 4 行
主问题:升级、修复依赖之后,首次测试通过的日期?
├─ 子问题1:什么时候升级? → 10月15日
├─ 子问题2:升级后何时修复依赖? → 10月16日
└─ 子问题3:修复后最早的测试通过记录? → 10月17日

前一步得到的时间,会成为后一步检索的约束:

text 4 行
查到升级日期
→ 限定“升级之后”的依赖修复记录
→ 再限定“修复之后”的测试记录
→ 从合格记录中选最早的一条

这是一棵针对当前问题临时构建的计划树,与保存历史知识的记忆图不同。

超图结构

尽管仅连接两个实体的二元图具有较高效率,但在表示复杂的多实体交互(例如三种药物联合作用产生特定副作用)时会出现信息丢失。超图(Hypergraphs)通过引入能够连接任意数量节点的超边(hyperedges)解决了这一问题,从而保持了 $n$ 元关系的完整性。

多元关系中的信息完整性

构建超图记忆的核心动机在于避免将复杂事实拆解为多条二元边所导致的图稀疏性与语义碎片化。HyperGraphRAG 从信息论角度证明了超图表示比等价的二元图保留了更完整的信息。通过将自然语言知识片段及其所有关联实体建模为单条超边 $e_i=(e_i^{\text{text}},\{v_1,\dots,v_n\})$,系统支持“双路检索(dual-retrieval)”,能够同时检索出相关实体以及将它们绑定在一起的超边,从而为下游生成提供完整的事实上下文。

表格数据中的结构依赖性

超图对于关系天然具有组团特性的结构化表格数据尤为高效。HyperG 利用超图对表格知识进行建模。它为行、列以及整个表格分别构建不同的超边以捕捉高阶依赖关系,例如列内的语义一致性以及表头题注与数据单元格之间的层次包含关系。

混合图架构

图结构在精准度和多跳逻辑推理上表现优异,但可能缺乏向量检索的泛化广度或非结构化缓冲区的灵活性。混合架构将图与其他数据结构深度融合以权衡各项优缺点,通常采用将“静态知识”与“动态经验”显式解耦的设计模式。

结合内部工作记忆的外部图结构

一种混合方法聚焦于外部海量知识图谱与内部轻量级工作状态之间的协同交互。KG-Agent 框架将外部知识图谱与内部_知识记忆_融为一体。与纯粹依赖图结构的智能体不同,KG-Agent 维护着一个结构化的工作草稿纸,能够迭代更新推理历史、工具定义以及从外部 KG 检索到的中间观测结果。这种混合设计使智能体能够依托灵活演化的内部上下文去导航大规模静态图谱,在符号化存储与神经认知推理之间架起稳固的桥梁。

总结

综上所述,不同类型的记忆往往需要不同的图构建方法,不存在一种适用于所有场景的通用方案。构建基于图的记忆系统需要针对具体记忆类型的特征进行审慎设计。

知识记忆通常具有稳定性、结构化以及去语境化的特征,因此天然契合强调关系或层级结构的图(如知识图谱)。这类图能够捕获实体之间的显式关系,并在通用信息之上支持高效推理。

相比之下,经验记忆具有动态性、个性化以及上下文特异性,因此往往受益于聚焦时序序列、交互轨迹或“用户–动作”关系的图结构。这类图能够记录智能体随时间演进的交互轨迹与偏好变化模式。

记忆检索

基于相似度的检索算子

基于相似度的检索是一种粗粒度检索算子,它将用户查询编码为向量,并在嵌入空间中检索出 Top-$k$ 个最相似的记忆条目。

在相对简单的应用中,直接进行向量相似度搜索往往十分奏效 。它亦能发挥辅助支撑作用,例如通过“查询–查询”相似度过滤无关记忆。

同时,这种检索方法也有 “词汇或语义相似未必相关”、“复杂的查询往往依赖未提及的关联实体,需要多步跳查”、“缺乏时序感知” 等缺点。

基于图/规则的检索算子

图记忆中的基于规则的检索算子利用符号规则以及过滤器来判定相关记忆。

对于知识记忆,它即可充当检索初阶段的选择器,为下游检索处理候选集;亦可充当检索后的校验器剔除不合规的记忆。对于经验记忆,由于交互经历天然包含噪声且处于持续演化的过程中,它可以将候选限制在兼容的实体或关系类型内,优先选取高置信度三元组。下面介绍两种常见的进阶实现方式:

检索过程

对于一个记忆图 $G_t = (V_t, E_t, X_t)$,其中 $V_t$ 是节点集(实体、事件或文本块),$E_t \subseteq V_t \times V_t$ 是关系边集,$X_t$ 是节点和边的属性/特征(如文本描述、向量嵌入 $\mathbf{h}_i \in \mathbb{R}^d$)。给定用户查询 $q$,图检索算子的目标是输出一个与任务强相关的紧凑子图 $\mathcal{S}_t \subseteq G_t$。

  1. 识别关键实体作为定位锚点,具体方法通过 NER 或者相似度检索作为候选锚点:

    $$ V_{\text{anchor}} = \underset{v_i\in V_t}{\operatorname{TopK}} \left(\operatorname{sim}(\mathbf{q},\mathbf{h}_i)\right). $$

    其中,余弦相似度定义为:

    $$ \operatorname{sim}(\mathbf{q},\mathbf{h}_i) = \frac{\mathbf{q}^{\top}\mathbf{h}_i} {\lVert\mathbf{q}\rVert\cdot\lVert\mathbf{h}_i\rVert}. $$
  2. 在锚点集上扩展,算子往外走 $n$ 步,这里可以通过 $BFS$ 或者关系受限的遍历(即只选和自己有关联的邻近节点)

  3. 对节点或路径进行评分和剪枝,具体的实现方法这里不详细给出。

  4. 若需要跨图遍历,则 2 的方法有所不同,G-Memory 使用了双向跨层遍历,即把图分为三层图:顶层(洞察图)、中层(查询图)、底层(交互图);先从中层利用相似度检索候选集,然后利用相似度往顶层查询去寻找相似任务,同时向下层遍历找出对应的原始交互图

基于强化学习的检索算子

强化学习(RL)正越来越多地被用作一种训练算子,通过优化底层记忆所定义的下游任务奖励,来自主学习自适应检索策略。

知识记忆主要为强化学习算子提供稳定的底层支撑与硬性约束,而经验记忆则支持感知上下文的自适应调整。所谓感知上下文的自适应,是指通过召回并排序与当前状态相匹配的历史“状态–动作–奖励”片段,使检索动作自适应于智能体当前的任务状态。二者共同的目标在于:检索出持续有效的高价值证据,同时抑制语义相似但具有系统性误导倾向的干扰候选。

一种常见的实现方案是用学习得到的动作价值函数 $Q(s,a)$ 来增强基于向量嵌入的候选生成,其中状态 $s$ 概括当前查询及可选的智能体内部状态,动作 $a$ 对应于具体的检索决策(例如选取特定记忆单元、选择某个图导航步骤或触发外部工具调用)。部分前沿工作将记忆检索形式化为一个序列决策过程,并利用策略优化算法(如 PPO/GRPO)训练专用的记忆智能体 。

基于智能体的检索算子

基于智能体的算子将检索视为一个开放的“规划–反馈”闭环,在此闭环中,智能体能够突破内部记忆图的边界自由行动。与基于强化学习方法的核心区别在于,基于智能体的算子具备调用外部工具与 API 来补充内部记忆的能力,并将经验证的结果反哺写回记忆中以供后续复用。这使检索不再局限于从静态封闭的知识库中做被动筛选。

对于知识记忆,智能体通过规划在知识图谱上进行遍历,以收集支撑性事实。图遍历使智能体能够在结构化记忆中寻找推理链条;当图谱覆盖不完整时,智能体可以利用模型参数化知识对信息进行补充校验。对于经验记忆,智能体不再遍历静态语义图,而是跨交互片段追踪动作链条以恢复情境上下文。智能体从带时间戳的日志中重构事件序列以指导当前决策,而非在结构化语义关系中检索。

记忆演化-持续学习

随着智能体系统在长时间跨度内与动态外部环境进行持续交互,其内部记忆绝不能保持静止不变,而必须与时俱进地动态演化,以吸收新信息、化解事实不一致,并自适应于不断变迁的上下文情境。基于图的记忆结构因其对关系连接、时序依赖以及事实有效性的显式建模,天然契合记忆演化需求,能够通过直接的节点、边和子图操作来实现灵活更新。

将记忆演化划分为两大互补范式:i) 内部自演化(Internal self-evolving):专注于通过内在的图拓扑运算来维持逻辑一致性,无需外部环境输入;ii) 外部自探索(External self-exploration):通过与物理或数字环境的主动交互,自动化锚定并提炼记忆。这些机制使被动的知识静态存储库蜕变为具备主动学习能力的自适应系统。

图 4:记忆演化机制分类。左侧为内部自演化,通过记忆巩固、图推理和图重组进行内省式提炼;右侧为外部自探索,通过环境交互锚定记忆,包括基于反馈的自适应与主动探究。
图 4:记忆演化机制分类。左侧为内部自演化,通过记忆巩固、图推理和图重组进行内省式提炼;右侧为外部自探索,通过环境交互锚定记忆,包括基于反馈的自适应与主动探究。

内部自演化

在交互过程中,智能体会积累海量的经验记忆,形式表现为具体的交互轨迹和执行日志。目前的主流方法有 通过图合并实现泛化为“技能”或“事实”实现标准化的规范表示、通过内部推理(如逻辑演绎或图遍历)发现节点之间的隐式矛盾

图结构推理

除巩固既有节点外,内部演化还涉及发现潜在连接,以解决记忆稀疏性难题。智能体主动扫描其记忆图谱,以识别缺失的边或推断从未被显式观测但可从既有事实中演绎得出的全新关系。该过程将记忆从孤立零散的稀疏轨迹转化为紧密互联的高密度知识网络。

潜在链接预测(Latent Link Prediction):利用大语言模型的语义理解能力,智能体能够预测不相连子图之间的潜在关系。例如,若记忆中包含 $(A\xrightarrow{cause}B)$ 与 $(B\xrightarrow{cause}C)$,智能体可以推断并插入一条传递性关系边 $(A\xrightarrow{leads\_to}C)$。这一机制在计算层面上模拟了人类的“联想思维”,使智能体在无需外部新输入的情况下即可将时间上相隔较远的事件关联起来。

归纳式知识富化(Inductive Knowledge Enrichment):智能体可以利用基于路径的推理来衍生出全新的属性或事实。通过在图拓扑中进行多跳遍历,系统识别高阶关联模式,并为图谱补充推断出的“协变量”或高阶关系。

外部自探索

虽然内部自演化能够依托内在一致性来打磨记忆,但它无法直接对照真实世界来验证知识的客观有效性。

基于反馈的自适应

侧重于根据过往行动的实际结果来优化记忆内容与管理策略。在开放式动态环境中,原始交互日志通常充斥着大量噪声;因此,智能体将任务执行成败作为强监督信号,以萃取具有高度指导价值的行动知识。

系统不再依赖僵化的硬编码规则,而是如 Memory-R1 和 Inside Out 所倡导的那样,将记忆的基本操作(如插入、修改或删除)视作强化学习框架内可学习的离散动作。通过接收反映下游任务准确率的端到端奖励,智能体能够自主习得维护图谱健康的最优策略。

主动探究

近期框架赋予智能体识别当前记忆图中不确定性的能力,并自主设定目标以消除这些盲区。ProMem使智能体能够对图中缺失的节点或模糊的关系边进行自我反思,进而主动生成定向查询来填补知识空白。AgentEvolver 将这一能力扩展到任务生成层面,通过自主合成新的子任务促使智能体探索未知状态,从而主动为记忆库补充多样化的经验。

KIMI K2.5 引入了可扩展的群体智能体(swarm)机制,派生出多个并行的子智能体同步探索问题空间中互不相交的分支。这使得中央记忆库能够快速汇聚多元视角与边缘案例,将系统从被动的经验容器转变为主动的知识构建引擎。

尽管在反馈驱动自适应与主动探究方面已取得诸多进展,如何显式利用图拓扑结构来指导外部探索仍有待深入研究。

论文与图源:Graph-based Agent Memory: Taxonomy, Techniques, and Applications。本文图 1–4 按笔记顺序排列,依次对应原论文图 1、2、6、8;说明依据对应图注整理。

评论