一句话总结

来自吉林大学、KAUST等机构的研究者提出了一种系统级框架，将自我改进的Agent形式化为基础模型与操作脚手架耦合的自适应系统，将自我改进定义为对模型参数或脚手架组件施加的自诱导更新算子，并依据更新目标与信号对现有工作加以组织，同时回顾了应用、评估与未来方向。

核心贡献

• 一个系统级框架将自我改进的Agent建模为与操作脚手架（提示、记忆、工具、控制逻辑）耦合的基础模型，并将自我改进形式化为作用于模型参数或脚手架组件的自诱导更新算子。
• 已有的自我改进方法被组织为两条路径：参数化的基础模型更新（慢循环）与非参数化的脚手架更新（快循环），并依据驱动变化的信号进行分类，例如内在生成式演示或外在探索性经验。
• 评估被重新界定为资源优化问题；开放挑战包括多Agent协同共进化以及面向开放世界漂移的非稳态模拟器，未来方向指向能够修改自身推理结构的安全、自指涉架构。

引言

作者考察了基于基础模型的Agent的兴起，其中大型语言与视觉-语言模型为推理与行动提供了自然语言接口，使机器自我改进的长期愿景变得触手可及。早期的自指涉学习与元学习系统受限于需要在低层代码或突触空间中搜索，难以实现可扩展的开放式改进。现代研究迅速形成了一个碎片化的格局，密切相关的自我改进技术以不一致的标签出现，而现有综述常将模型微调与Agent脚手架视为独立问题，缺乏统一的历史或形式化视角。本综述通过提出一种统一的分类法来弥合这一差距，将自我改进组织为两条截然不同的路径——对基础模型本身的永久更新与对周围脚手架的更快、可逆的修改——追溯其从经典AI到当前实践的概念根源，并为未来的自我改进Agent系统提供系统性的路线图。

方法

作者将时间步 $t$t 处基于基础模型的Agent形式化为 $\mathcal{A}_t = (\theta_t, \Sigma_t)$At​=(θt​,Σt​)，其中 $\theta_t$θt​ 表示基础模型的神经参数，$\Sigma_t$Σt​ 表示动态操作脚手架。脚手架指定了模型如何被条件化、接地并与外部世界连接，可分解为结构化提示、记忆机制、外部工具与控制逻辑。自我改进被概念化为一种自诱导算子，它基于执行信号更新这一内在配置，并分叉为两种互补范式：基础模型改进与脚手架改进。

基础模型改进以参数集 $\theta_t$θt​ 为目标，将新行为与推理模式内化。Agent 充当自身的监督来源，生成学习信号，通过基于梯度的优化更新其权重。作者依据自诱导学习信号的性质对这一过程进行分类。

如上图所示，Agent 通过三个不同的参数更新循环来改进基础模型。在第一个循环中，内在生成式演示，Agent 合成训练实例，例如指令-响应对或推理轨迹。质量控制算子过滤这些候选演示，之后将其用于参数更新。在第二个循环中，内在评估反馈，Agent 或辅助评判器从模型输出中产生分数、偏好或批评。这些反馈被聚合以指导优化与对齐。在第三个循环中，外在探索性经验，Agent 与真实环境或世界模型交互，收集经验轨迹。这些轨迹经过处理，通过强化学习或偏好优化来精炼策略。

脚手架改进保持基础模型参数固定，同时修改操作脚手架 $\Sigma_t$Σt​。这允许快速、可逆且任务特定的适应，而无灾难性遗忘的风险。作者通过将脚手架分解为其核心组件来分析这一范式。

提示优化是一种高度可及的脚手架改进形式，精炼Agent的核心行为先验。作者根据学习信号的形式与丰富度对提示精炼方法进行分类。

如上图所示，精炼过程作为一个循环运行，初始提示被执行并评估，以产生候选提示与反馈。这产生了四种范式。黑盒优化依赖标量性能分数在离散文本空间中导航。迭代精炼使用定性的自然语言批评提供可解释的修订指导。进化算法将提示视为种群中的基因，应用选择、交叉与变异算子来进化出更好的指令。文本梯度优化将反馈形式化为结构化的方向性消息，类似于连续优化中的梯度，明确规定了应如何修订提示。

记忆演进为Agent配备了不断演化的内部认知资源，从无记忆执行转向累积学习。作者将基于记忆的改进分解为记忆对象、记忆结构与记忆处理。

如上图所示，记忆系统包含显式对象，如处理后的交互轨迹与精选的原始内容，以及隐式对象，如潜在嵌入。这些对象被组织为扁平、层次化、基于图或向量检索的结构。这些组件最终形成一个统一的、信号驱动的记忆循环。Agent 观察并检测新交互中的显著性，通过自驱动过程创建紧凑对象，并通过结构化组织加以整理。然后按需读取以规划与行动，评估结果以分配信用并导出学习信号，最后根据反馈更新或删除条目，以巩固高价值知识并剪除噪声。

除提示与记忆外，作者还描述了工具治理，即Agent参与动态工具路由、迭代工具精炼与自主工具创建，以扩展其能力边界。在最深层的架构干预层面，全脚手架改进将Agent的整个操作逻辑与代码库视为可变基板。在此机制下，改进过程在当前脚手架内实现，从而实现递归自我修改，候选程序补丁在提交到Agent配置之前由验证器把关。

实验

所综述的实验评估了自我改进的Agent，这些Agent迭代更新其基础模型参数或脚手架组件——包括提示、记忆、工具与控制逻辑——跨领域涵盖软件工程、网页导航、游戏、科学发现、具身AI与通用计算机控制。基于脚手架的改进往往快速且模块化，但存在对特定接口过拟合的风险，而参数级改进能更持久地内化技能，但成本高昂且易受奖励黑客与评估伪影的影响。反复出现的定性结论是，严格的评估必须在固定资源预算下追踪性能轨迹，测量对保留任务的迁移，并监控随时间推移的退步与安全违规，而非依赖单一峰值分数，以区分真正的能力提升与对基准反馈的利用。

本综述独特地将全面的组织框架与对Agent更新机制的详细关注相结合，区别于那些强调评估或信号但缺乏历史根源或定义范围覆盖的先前工作。跨领域评估方法的分析揭示了一个共同的必要趋势，即超越静态评分，转向在现实交互约束下追踪学习轨迹、迁移、开销与安全的协议。本综述是唯一一个将主要重点放在所有七个组织维度（包括历史根源与更新基板）上的综述，这些维度在其他综述中为次要或缺失。领域评估协议一致警告防止过拟合，网页与游戏基准提倡受控或随机化环境以及保留策略，以区分泛化与记忆。具身AI与通用计算机控制评估独特地要求追踪安全约束违反与错误恢复行为，反映了物理安全限制与脆弱的用户界面。科学发现评估优先考虑基于执行的检查，并报告挂钟时间与操作成本，以及产物质量与可复现性。总体结论呼吁在固定预算下报告学习轨迹、超出训练信号的迁移、开销成本以及随时间推移的退步指标。

提示优化范式从标量反馈到文本梯度，每一步都增加了更丰富的结构与更自动化、可解释的精炼。标量方法简单但低效，基于批评的方法能进行针对性编辑但存在噪声风险，种群进化探索能力强但计算量大，文本梯度提供高效的方向性更新，但其可靠性取决于底层模型。标量反馈优化与模型无关且易于部署，但样本效率低且可解释性差。定性反馈精炼提供可解释、有针对性的修正，但批评可能嘈杂、漂移，并需要强验证器。基于种群的进化探索性强，能跳出局部最优，但计算量大，适应度函数针对特定领域调整。文本梯度优化提供样本高效、方向性更新且自动化程度高，但梯度可能脆弱，且在不同大型语言模型间质量不一。

处理后的交互轨迹与精选的原始内容代表了两种不同的记忆对象策略，具有相反的权衡：处理后的轨迹提供高紧凑性与可解释性，但存在摘要偏差与陈旧启发式的风险；精选的原始内容保持高保真度与可审计性，但代价是上下文膨胀与检索噪声。集成外部知识与潜在嵌入提供了替代方案，外部知识在共享接地方面表现出色，潜在嵌入能实现快速联想回忆，但引入了静默损坏与难以调试的检索风险。处理后的轨迹在所有对象类型中获得了最高的紧凑性与可解释性评分，但其最常见的失败模式包括摘要偏差、陈旧启发式与弱信用分配。精选的原始内容提供最强的保真度与可审计性，但主要失败模式是上下文膨胀、检索噪声与隐私泄露。集成外部知识与精选原始内容共享最高保真度评分，并增加了强接地性，但独特地易受接地失败、陈旧性与工具脆弱性的影响。潜在嵌入获得最低的可解释性与可审计性评分，使其检索难以调试，并易受漂移、污染与静默损坏的影响。

所有被综述的Agent记忆系统都存储显式对象，并提供完整的创建、读取、更新与删除操作作为主要机制。结构选择从早期工作中的扁平列表到近期设计中的层次化或基于图的布局加向量检索，而每个系统都将记忆选择与维护作为主要治理功能。每个系统都依赖显式记忆对象，并将创建、读取、更新与删除视为主要操作。早期系统采用扁平记忆结构，而SAGE使用层次化布局，Mem0采用带向量检索的图结构。

不同的应用领域通过特有的沙盒与学习信号塑造自我改进循环，进而决定主要瓶颈、改进目标（脚手架 vs 模型参数）与迭代模式。例如，软件工程等确定性与可逆环境支持针对每个问题的在线调试，而科学发现中嘈杂、昂贵的评估导致提议-运行-批评-修订循环。跨领域来看，改进通常聚焦于脚手架组件，如规划与工具编排，但在游戏与具身AI中，模型参数通过自我博弈或数据飞轮直接更新。具有低成本、可逆重置的领域（软件工程、游戏）能实现快速在线迭代，而科学发现与具身AI则因评估昂贵或嘈杂而依赖混合离线循环。改进目标主要为基于脚手架（如网页中的感知-行动接地，科学中的工具编排），但游戏与具身环境通过自我博弈或数据收集与重训练直接更新策略与模型参数。

本综述通过分析评估方法、提示优化范式、记忆对象策略、系统架构以及跨领域的自我改进循环来评估Agent更新机制。研究发现，评估必须超越静态评分，追踪学习轨迹、迁移、开销与安全，并关注领域特定问题，如网页与游戏基准中的过拟合以及具身AI中的安全违规。提示优化方法在简洁性、效率与可解释性之间权衡，而记忆对象在紧凑性与保真度、可审计性之间平衡。自我改进循环适应领域特性，在确定性环境中实现在线脚手架更新，在嘈杂环境中实现离线模型更新。