一句话总结

南京理工大学、浙江大学和新加坡国立大学的研究人员提出了LaMem-VLA，一个原生潜在记忆框架，将历史经验重构为短期和长期潜在记忆token，并通过协调的curator、seeker、condenser和weaver组件将其编织到多模态推理中，从而使记忆能够直接指导长时域机器人操作任务中的动作生成，并在SimplerEnv和LIBERO上得到验证。

核心贡献

• LaMem-VLA引入了一个原生潜在记忆框架，将历史经验重构为潜在记忆token，并通过四个协调的组件（curator、seeker、condenser和weaver）将其直接与VLA推理交织在一起。
• 该框架维护互补的短期视觉记忆库和长期语义记忆库；检索到的证据被蒸馏为紧凑的潜在记忆token，并与当前观察和指令一起插入连续嵌入序列，使过去的上下文能够在同一潜在空间中塑造动作生成。
• 在SimplerEnv和LIBERO上的实验表明，LaMem-VLA优于现有方法，验证了上下文原生的潜在记忆在长时域、依赖记忆的操作任务中的有效性。

引言

视觉-语言-动作（VLA）模型将视觉观察和语言指令映射为机器人动作，但它们通常假设马尔可夫设置：动作仅根据当前观察预测，没有时间上下文。这造成了短视域偏差，使其在长时域操作任务中表现不佳，而这类任务需要感知任务进展和过去状态变化。先前的方法试图通过扩展输入窗口、压缩过去观察或从外部记忆库检索token来整合历史，但这些方法要么导致计算成本不断增加，要么丢失细粒度细节，要么将记忆作为辅助的策略侧信号，从未进入VLA的内部推理过程。作者通过LaMem-VLA解决了这些局限性，这是一个原生潜在记忆框架，将机器人历史组织为互补的短期视觉记忆库和长期语义记忆库。它检索与任务相关的证据，将其压缩为与模型嵌入空间兼容的紧凑潜在token，并将这些token直接编织到动作生成序列中，使记忆成为VLA感知、指令理解和动作推理的组成部分。

方法

作者将视觉-语言-动作（VLA）模型中的机器人操作任务形式化为语言条件的马尔可夫决策问题。在每个时间步$t$t，VLA策略$\Pi_\theta$Πθ​以自然语言指令$I$I和当前视觉观察$o_t$ot​作为输入，预测未来动作块：

$\boldsymbol{a}_{t:t+H-1} = \boldsymbol{\Pi}_\theta(\boldsymbol{o}_t, \boldsymbol{I})$at:t+H−1​=Πθ​(ot​,I)

其中$H$H表示动作时域，每个动作$a_t \in \mathbb{R}^7$at​∈R7是一个7自由度末端执行器控制向量，包含3自由度相对平移、3自由度相对旋转和1自由度夹爪状态。

虽然这种马尔可夫范式对短时域行为有效，但在长时域操作任务中可能引发时间短视偏差。为了解决这一问题，作者提出了LaMem-VLA，一个端到端的原生潜在记忆框架，直接将双尺度历史经验编织到VLA推理中，以优化动作生成。

如下图所示：

LaMem-VLA通过四个协调模块闭合了潜在记忆重建与动作推理之间的循环。在每个时间步$t$t，视觉-语言骨干将当前视觉观察$o_t$ot​和指令$I$I嵌入为视觉token $X_t$Xt​和指令token $I$I。可学习的动作查询被附加到token序列中，以获得与操作相关的潜在动作表示。

潜在记忆curator动态建立并更新两个互补的记忆库。短期记忆库$\mathcal{M}^{short}$Mshort存储保留近期感知证据的视觉token。每个短期记忆单元表示为一个键值对$m_s^i = (k_s, v_s)$msi​=(ks​,vs​)，其中键$k_s$ks​提供简洁的检索摘要，值$v_s$vs​存储潜在内容。具体地，一个可学习的SE瓶颈压缩模块$\mathcal{C}_s$Cs​将当前视觉token $X_t$Xt​蒸馏为紧凑的短期记忆token：

$\boldsymbol{v}_s = \mathcal{C}_s(\boldsymbol{X}_t) \in \mathbb{R}^{N_s \times C}, \quad \boldsymbol{k}_s = \text{MeanPool}(\boldsymbol{v}_s) \in \mathbb{R}^C$vs​=Cs​(Xt​)∈RNs​×C,ks​=MeanPool(vs​)∈RC

长期记忆库$\mathcal{M}^{long}$Mlong存储动作隐藏状态，用于跟踪更长时域的任务进展和动作连续性。当存储单元数量超过库容量时，curator通过计算时间相邻键之间的余弦相似度，选择最冗余的键值对，并对其键和值token取平均来进行压缩。

潜在记忆seeker根据当前多模态认知上下文从这些库中检索证据。给定视觉和指令token，VLA骨干生成上下文感知查询$Q_t^{con}$Qtcon​。seeker附加可学习的查询槽$Q^{init} \in \mathbb{R}^{K_q \times C}$Qinit∈RKq​×C，并使用轻量级transformer查询构建器$\mathcal{B}$B更新它们：

$\boldsymbol{Q}_t = \mathcal{B}([\boldsymbol{Q}_t^{\text{con}}; \boldsymbol{Q}^{\text{init}}])[-K_q:] \in \mathbb{R}^{K_q \times C}$Qt​=B([Qtcon​;Qinit])[−Kq​:]∈RKq​×C

均值池化后的查询$q_t = \text{MeanPool}(Q_t)$qt​=MeanPool(Qt​)作为全局检索向量。seeker使用$q_t$qt​通过余弦相似度从短期和长期库中检索Top-$K$K个上下文相关单元，得到检索集$Z^{short}$Zshort和$Z^{long}$Zlong。

潜在记忆condenser随后将这些检索到的证据重构为固定长度的潜在记忆token。它引入可学习的短期视觉记忆槽$T_s \in \mathbb{R}^{L_s \times C}$Ts​∈RLs​×C和长期语义记忆槽$T_l \in \mathbb{R}^{L_l \times C}$Tl​∈RLl​×C，并以上下文查询token和检索证据为条件，使用轻量级记忆形成器$\mathcal{F}_v$Fv​和$\mathcal{F}_c$Fc​更新它们：

$\boldsymbol{M}^{\text{short}} = \mathcal{F}_v([\boldsymbol{Q}_t; \boldsymbol{Z}^{\text{short}}; \boldsymbol{T}_s])[-L_s:], \quad \boldsymbol{M}^{\text{long}} = \mathcal{F}_c([\boldsymbol{Q}_t; \boldsymbol{Z}^{\text{long}}; \boldsymbol{T}_l])[-L_l:]$Mshort=Fv​([Qt​;Zshort;Ts​])[−Ls​:],Mlong=Fc​([Qt​;Zlong;Tl​])[−Ll​:]

这产生了查询条件的潜在记忆token，它们与VLA推理使用相同的嵌入空间。

最后，潜在记忆weaver将这些合成的记忆token注入VLA推理序列，在动作查询解析之前。记忆增强的输入序列$S_t$St​构造如下：

$\boldsymbol{S}_t = [\boldsymbol{M}^{\text{short}} + \mathbf{1}_{L_s}\boldsymbol{b}_s^\top; \boldsymbol{M}^{\text{long}} + \mathbf{1}_{L_l}\boldsymbol{b}_l^\top; \boldsymbol{X}_t; \boldsymbol{I}; \boldsymbol{Q}^{\text{action}}]$St​=[Mshort+1Ls​​bs⊤​;Mlong+1Ll​​bl⊤​;Xt​;I;Qaction]

其中$b_s$bs​和$b_l$bl​是可学习的源嵌入。由于这些记忆token是模型输入序列的一部分，它们与当前观察、语言指令和动作查询一起参与自注意力，形成记忆扎根的动作token $Z^{action}$Zaction。

这些记忆扎根的动作token被输入基于扩散的动作专家，以生成连续动作块。扩散专家$\epsilon_\theta$ϵθ​通过均方误差损失进行训练，在动作和记忆条件下预测注入的噪声：

$\mathcal{L}_{\text{action}} = \mathbb{E}_{n, \epsilon} \left[ \left\| \epsilon - \epsilon_\theta(\boldsymbol{a}_{t:t+H-1}^n, n, \boldsymbol{Z}^{\text{action}}) \right\|_2^2 \right]$Laction​=En,ϵ​[​ϵ−ϵθ​(at:t+H−1n​,n,Zaction)​22​]

在推理过程中，DDIM采样迭代地去噪动作块，产生历史感知的连续7自由度控制动作。

实验

LaMem-VLA在真实到仿真操作（SimplerEnv-Bridge）和多样化仿真任务套件（LIBERO）上进行了评估，以考察双尺度潜在记忆如何改进视觉-语言-动作策略。实验表明，将压缩的短期视觉token和长期语义token直接注入推理序列，提供了有效的历史上下文，解决了时间模糊状态，并在短时域和长时域设置下支持可靠的动作预测。消融实验证实了两种记忆流的互补作用，并表明潜在原生集成优于外部记忆条件化，而适中的检索预算和token数量平衡了性能与效率。

LaMem-VLA在SimplerEnv-Bridge基准上取得了73.9%的最高平均成功率，优于所有对比方法。该模型比次优基线高出16.6个百分点，并在包括先前模型失败的任务上保持稳健性能。这一提升归因于将压缩的潜在记忆token集成到动作预测序列中。LaMem-VLA的平均成功率比CogACT高16.6个百分点，也超过了近期最先进的VLA π0，证明了潜在记忆token对历史上下文的益处。在困难的Stack Cube任务上，LaMem-VLA达到41.7%的成功率，而几种早期方法（RT-1-X、OpenVLA）得分为0%，并且在Put Eggplant in Basket任务上达到近乎完美的95.8%。

LaMem-VLA在所有五个LIBERO基准套件上均取得了最高成功率，总体平均达到97.6%。它优于记忆增强和标准视觉-语言-动作基线，且无需使用带星号方法所需的额外本体感知和腕部摄像头输入。最大的提升出现在长时域任务上，在Long-10和Long-90上分别超过先前最佳记忆增强模型一个百分点以上。LaMem-VLA在五个套件上的平均成功率达到97.6%，比报告的最强记忆增强方法高出1.1个百分点，比CogACT等强基线高出4.4个百分点。在长时域套件上，LaMem-VLA在Long-10上达到95.8%，在Long-90上达到97.0%，分别比MemoryVLA提高2.4和1.4个百分点，同时未使用额外的本体感知或腕部摄像头输入。

对双尺度潜在记忆的消融显示，同时具备短期和长期记忆的完整模型在两个基准上均取得了最高成功率。移除两种记忆流导致性能下降最大，而仅保留一种记忆流得到中间结果，证实了两个记忆库提供互补信息。完整的LaMem-VLA模型在SimplerEnv上达到73.9%，在LIBERO-90上达到97.0%，优于所有消融变体。同时移除短期和长期记忆导致性能急剧下降，在SimplerEnv上降至57.3%，在LIBERO-90上降至92.1%。仅保留短期记忆（65.6%，95.4%）或仅保留长期记忆（64.6%，94.8%）给出相似的中等性能，表明单独任一记忆库都不足够。

对记忆集成的消融显示，将压缩的潜在记忆token直接纳入VLA输入序列可获得最高成功率，完整LaMem-VLA模型在SimplerEnv上达到73.9%，在LIBERO-90上达到97.0%。完全移除记忆导致性能急剧下降，而策略侧条件化或原始检索条件化提供了中间增益，但不及潜在原生集成。无记忆基线在SimplerEnv上仅达到57.3%，在LIBERO-90上为92.1%，是所有条件中最低的。将记忆作为外部策略侧条件将性能提升至SimplerEnv上的71.9%和LIBERO-90上的94.8%。直接以原始检索证据为条件在SimplerEnv上得到69.8%，在LIBERO-90上得到95.1%，表明未压缩token引入了冗余。LaMem-VLA将压缩的记忆token前置到VLA输入中，取得了最佳结果（SimplerEnv上73.9%，LIBERO-90上97.0%）。

检索的记忆单元数量K强烈影响操作性能，成功率随K从2增加到8而上升，然后在K=12时下降。K=8的最优设置提供了足够的历史证据而不使记忆condenser过载，在两个基准上均达到峰值成功率。将K从2增加到4在SimplerEnv（66.7%到70.8%）和LIBERO-90（94.4%到95.9%）上均带来明显提升。性能在K=8时达到峰值（SimplerEnv上73.9%，LIBERO-90上97.0%），在K=12时下降，表明适中的检索预算效果最佳。

LaMem-VLA将压缩的潜在记忆token直接集成到动作预测序列中，显著提升了视觉-语言-动作操作性能。它在SimplerEnv-Bridge和所有LIBERO套件上均创下了新的最先进成功率，特别是在长时域任务上，且无需依赖额外的本体感知或腕部摄像头输入。消融研究证实，结合短期和长期潜在记忆至关重要，在输入序列内对这些压缩token进行条件化效果最佳，并且8个记忆单元的检索预算产生了最强结果。