一句话总结

来自新加坡国立大学、华中科技大学、上海交通大学、南洋理工大学和香港浸会大学的研究者将递归自我改进置于机器人学习之中，梳理从改进机器人能力到改进生成这些能力的过程的路径，并将现有实体研究综合为评估原则与研究方向，面向能够安全改进自身改进方式的机器。

核心贡献

• 本文将递归自我改进置于机器人学习中，形成从改进后的策略、世界模型和知识，到改进后的学习流程和改进后的改进器的主张阶梯，并规定收益得以延续的四个条件：反馈针对剩余学习需求、接收组件能够使用该变更、价值在任务或硬件变化后仍然存在、持续练习保持安全且负担得起。
• 现有的实体机器人学习研究集中在操作任务上，支持行为改进、后期学习收益和流程改进，但没有任何一项被综述的实体研究分离出可归因于递归的收益。
• 本文贡献了评估原则和研究方向，包括与获得知识被冻结的改进器版本进行受控比较，以及在修订系统无法针对其调参的任务上进行评估。

引言

从物理经验中学习的机器人正从固定控制器走向随使用而改进的策略、世界模型和学习流程。这一点很重要，因为递归自我改进使机器人不仅能改进其行为，还能改进其改进过程；然而，先前在强化学习、自训练、持续学习、元学习和 AutoML 方面的工作通常保持外层修订配方固定，并未分离出可归因于递归的收益。实体部署还增加了成本高昂的重置、稀疏监督、磨损、分布偏移和安全约束等限制。作者引入从行为改进到流程改进的正式主张阶梯，定义基于冻结知识比较的两个受控递归标准，并综述实体机器人自我改进的现状，同时指出可验证递归自我改进的开放问题。

数据集

作者将训练数据描述为动态形成的集合，而不是单一固定语料。主要来源包括机器人 rollout、保留的离线数据、教师或模型输出、生成的标签以及人类或专家纠正，每个系统都采用各自的过滤与重用规则。

• 来源与构成

  • 真实机器人 rollout：来自 Franka、ALOHA 和其他真实任务设置的成功、失败、近乎成功和恢复片段。
  • 离线或基准数据：DROID、LIBERO、LIBERO-Pro、LIBERO-Goal、RoboTwin 2.0、R2R-CE 和 robosuite。
  • 教师和模型输出：专家 rollout、恢复演示、代码补丁、VLM 生成的语言动作对以及经过验证的执行轨迹。
  • 外部纠正：用于在失败状态提出纠正动作的人类视频。

• 关键过滤与数据集构建规则

  • VLAW 将第一轮真实 rollout 与保留的 DROID 数据结合，使用奖励模型过滤想象轨迹，并在奖励过滤后的想象成功和真实成功上训练。它在五个真实任务类别中每类每轮使用 50 个实体 rollout。
  • World-VLA-Loop 在新的策略产生的成功和近乎成功 rollout 上重新拟合其视频模型和奖励头，然后重启策略。所报告设置涵盖两个真实 Franka 任务，共两轮。
  • WoVR 在 LIBERO 中 2,500 条轨迹预算下，在已经改进的策略产生的 rollout 上重新拟合其世界模型。
  • WorldSample 在累积的真实 rollout 上重新拟合视频模型，并基于价值平衡和策略熵将合成转移纳入 critic 训练。
  • Demo-SCORE 在机器人 rollout 上训练成功分类器，并移除与失败相似的演示，在真实 ALOHA 任务上评估。
  • CUPID 使用影响函数将闭环结果归因到各个演示，并在一个真实 Franka 任务上使用 25 条筛选 rollout 保留有用演示。
  • LACY 使用一个 VLM 生成动作、回述动作并判断一致性，然后用该判断器过滤自身生成的数据。
  • RSI-Nav 为无标签轨迹编写指令，保留其能够沿指令到达目标的指令，并在标记下一批数据前重新训练。它在模拟 R2R-CE 中使用约 250 万条生成样本。
  • RE-0 仅当来自同一模拟器快照的成对 rollout 显示收益时，才接纳更强教师的代码补丁。在 robosuite 重新堆叠任务上，性能从 4/50 提高到 31/50。
  • ConfAL-WM 使用置信度探针在任务之间分配固定的训练后数据预算，并对模型最不可靠的帧和图像块给予更大训练权重，在 RoboTwin 2.0 上评估。
  • Memory Anchors 通过选择旧转移样本来丰富重放，使早期区分在学习新行为时仍然可见。

• 数据使用方式

  • 从专家 rollout 训练通用策略，并将专家恢复蒸馏回通用策略。
  • 训练世界模型和 VLA，包括闭环想象轨迹和经奖励过滤的合成成功样本。
  • 筛选演示或后训练策略，例如在 LIBERO-Goal 上对策略检查点进行恢复增强后训练。
  • 支持迭代自训练循环，其中策略或 VLM 对新数据进行标记、过滤、生成和重新训练。

• 处理与元数据细节

  • 文中未描述图像裁剪，但描述了按选择加权训练：ConfAL-WM 按置信度对图像块加权，Memory Anchors 选择旧转移样本进行重放。
  • 数据模式因系统而异：LACY 使用语言动作对，RSI-Nav 使用指令，RIWANav 使用动作视频对，奖励过滤使用成功和近乎成功标签，RE-0 使用成对 rollout 结果。

方法

作者通过分类系统实际改变的内容来综述实体自我改进机制。该框架遵循层级关系：经验产生一个保留的变更，该变更影响后续尝试或学习。保留的变更可以服务于四种主要用途：选择或执行动作、预测结果以提供练习、通过保存的恢复支持重用、改变后续数据的收集、判断和转化为更新的方式。这些用途通常分别由策略、世界模型、外部知识和学习流程承载。

让经验产生帮助的最直接方式是改变策略本身。作者识别出在此过程中反复出现的四类教学信号。重标记重新解释已经发生的行为，例如将被推开的杯子视为成功推动，而不是失败抓取。奖励对尝试的结果打分，使优化倾向于更好的结果。纠正提供一个策略未执行的动作，通常来自人类干预者。重放重用先前的经验，以保持或恢复已学习的行为。

实体试验缓慢且成本高昂，因此自然扩展是学习世界模型并在其中练习。世界模型预测物理状态在动作之后可能如何变化。预测可以作为必须转化为运动的计划，作为训练策略的想象经验，或作为提供给策略的预测特征。不同系统在学习循环中更新不同组件。例如，SILVR 在真实机器人上采集数据，然后修订规划器；RISE 在固定的已学习模型内部改进策略。PlayWorld 获取玩耍数据，拟合模型，然后优化噪声策略。VLAW 先更新世界模型，再更新策略，并用新的实体数据重复该循环。

并非每个有用的变更都需要进入策略权重或世界模型。作者区分记忆、技能和运行时。记忆是指在被使用时必须被解释的已存储信息。技能是具有执行接口的可调用行为。运行时或软件涵盖检索、组合、监控或修复这些行为的逻辑。在另一台机器人上重用需要先检查接口、观测、动作含义、时序、能力和安全性，然后再构建适配器。

上文综述的变更也改变了下一轮学习的起点。改进后的策略会到达以前无法访问的状态，从而改变下一次更新可用的数据。沿着这条链条，任何形式的变更都可以在学习流程中获得新角色。改进该流程正是递归自我改进的起点，因为它改变的是机器人如何学习，而不仅是机器人做什么。

为了判断修订后的组件是否确实帮助下一位学习器，作者提出了配对比较。两个学习器仅在受测组件上不同，例如早期评估器与修订后的评估器。两者以相同的配方和预算开始。它们的结果通过一个独立于评估器的通用结果检查来衡量。比较学习器的结果可检验流程改进，而单独记录则追踪试验、成功次数和独立运行。

实验

评估设置涵盖 LIBERO、RoboCasa、RoboDojo 等模拟套件以及研究特定的硬件任务，但大多数基准在单个时间点评估系统，而不是跨自我改进轮次评估，因此关于改进的主张需要额外协议，包括留出任务、配对学习器、独立成功判断和成本核算。自动化实体循环的实验表明，编码 agent 可以构建可重用的基础设施、修订训练代码、运行 rollout 并在相关任务之间迁移流程知识，但其收益大多只能证明组件级或单轮改进，而不是隔离的递归。主要定性结论是，当采集的数据不再具有信息量、当已学习模型和评估器不再覆盖改进后策略的行为、当瓶颈转移到其他组件、当保留的知识丢失或被用于错误语境、当维护和基础设施成本超过重用节省时，自我改进会停滞。因此，该综述将受保护的多轮评估和共享报告标准确定为必要的后续步骤。

比较框架定义了关于递归自我改进主张所需的受控证据。行为改进、后期学习收益和流程改进通过配对学习器和预算，分别比较任务性能、对后期学习器的迁移以及修订后流程的教学质量来评估。递归性主张增加了更强的检验：更新后的改进器必须在新的失败上与早期改进器比较，更强条件要求获得的知识优于冻结知识和父改进器。行为改进通过在共同任务上比较后期任务性能与原始学习器来检验。后期学习收益通过将获得的知识交给后期学习器，并与没有该知识的配对学习器进行比较来隔离。流程改进检验在配对学习器和预算下，修订后的流程是否比先前流程教得更好。更强的递归条件要求获得的知识胜过冻结知识和父改进器，而基础递归检验则在新失败上比较更新后的改进器和早期改进器。

该比较根据学习范式通常学习的内容、保持不变的内容以及可支持哪些改进主张来分类。标准 RL 和自训练主要产生行为改进以及供后期学习使用的数据或策略，而外层循环 RL、元学习和 AutoML 更直接地支持流程级改进。持续学习主要作为需要处理的问题设定，而不是修订改进器的机制。标准强化学习通常改进行为并提供供后期学习使用的数据或策略，同时保持奖励和算法不变。外层循环强化学习学习奖励或更新规则等要素，使流程级改进成为典型结果。自训练改进行为并生成供后期学习使用的数据，但其训练配方保持不变，除非评估器也在自我判断。持续学习被界定为需要应对的设定，具有逐任务性能和保持能力，但没有直接的流程级改进。元学习和 AutoML 通过学习得到的损失、规则、初始化或搜索到的训练配置，更倾向于流程级改进。

基准格局涵盖用于操作、导航和家庭活动的模拟任务套件，以及隔离特定自我改进机制的组件和数字基准。模拟支持大规模机制比较，而硬件评估依赖研究特定的任务套件，并在试验预算上差异很大。大多数套件在单个时间点评估性能；LIBERO 的终身协议是例外，因为它对任务序列中的迁移和遗忘进行评分。任务套件强调不同能力，包括扰动鲁棒性、双臂操作和日常厨房任务。组件和数字基准针对成功检测、世界模型校准、训练代码修订和缩小剩余性能差距等前置能力。硬件评估预算从每项任务少量试验到数百个回合不等，直接跨研究比较受到不同任务、试验次数和指标的限制。

选定的策略更新研究比较了从演示学习与自生成或自主数据学习、奖励引导学习与行为克隆、强化学习与纠正性模仿。结果检查依赖任务成功、人工计数或评分者判断，学习得到的过滤器有时与最终评估保持分离。更广泛的分析提醒，增加的自主数据可能饱和或下降，而来自失败条件和纠正信号的人类演示通常提供更有用的学习目标。RoboCat 将演示与增加的自生成数据进行比较，并使其人工结果计数与学习得到的过滤器分离。SOAR 使用 VLM 过滤和事后目标，比较预训练与自主数据联合训练。SI-EFM 通过剩余步数进度模型，将行为克隆与来自不完整真实机器人尝试的奖励引导学习进行对比。HIL-SERL 将强化学习与纠正性模仿进行比较，并包含干预消融，而 RECAP 在评分者判断的结果下比较不同的价值拟合变体。自主数据可能带来饱和或下降的收益，而来自先前失败条件的人类演示可能比随机选择的演示信息量更大。结果检查在判断独立性方面各不相同，且用于学习的共享判断器可能无法揭示其自身标准中的系统性错误。

模型辅助学习系统通过世界模型、想象 rollout 或生成观测来改进策略，但其组件、更新信号和结果检查差异很大。同时更新视频规划器及其逆动力学转换器相比冻结转换器可提高模拟成功率，而在已学习模型内部进行优化的收益并不总能迁移，并可能在真实任务上下降。评估协议各不相同，有些系统在过滤和最终结果上都使用人类判断者。在模拟操作中，与冻结转换器相比，同时更新视频规划器和逆动力学转换器可提高成功率。PlayWorld 的最佳报告任务相比其基础策略有大幅提升，但之后在拟合的世界模型内部进行优化会降低真实成功率。RISE 与配对的 RECAP 重新实现进行比较，因为原始模型版本不可用。VLAW 将其完整循环与过滤后的行为克隆和 DSRL 进行配对 rollout 比较，而 DexTouch-WM 在相同数据规模下比较三个学习器上的全真实与半生成数据。

该比较框架通过在行为、迁移和流程级测试中配对学习器和预算，定义了受控递归自我改进证据。所综述的范式表明，标准强化学习和自训练主要支持行为收益和后期学习收益，而外层循环强化学习、元学习和 AutoML 更直接针对流程改进。基准和策略更新结果表明，模拟套件和组件测试在协议上差异很大，自主或生成数据通常会饱和或下降，而来自失败条件和纠正信号的演示仍然信息量更大。模型辅助学习研究进一步表明，更新多个已学习组件可能有帮助，但在已学习世界模型内部进行优化的收益并不能可靠迁移到真实任务。