一句话总结

来自 NVIDIA、斯坦福大学和得克萨斯大学奥斯汀分校的研究者提出 RoboTTT，一个机器人基础模型，通过集成 Test-Time Training 在训练和推理期间使用梯度下降更新快速权重，将视觉运动上下文扩展到 $8K$8K 时间步而不增加推理延迟，从而将历史压缩到权重空间以进行长上下文条件化，并解锁了从人类视频演示的一次性上下文模仿、在线策略改进，以及对多阶段、长时序任务的稳健完成，相比单步上下文基线实现了 $87\%$87% 的提升，且将预训练上下文从 $1K$1K 扩展到 8K 时间步时进一步获得 $62\%$62% 的提升，确立了上下文长度作为机器人策略的新扩展轴。

核心贡献

• RoboTTT 将 Test-Time Training 与快速权重集成到机器人基础模型中，将历史压缩到权重空间，实现了将视觉运动上下文扩展到 8K 时间步而不增加推理延迟。训练方案结合了序列动作强制和截断时间反向传播，使长上下文训练变得可行。
• 在此上下文长度下，RoboTTT 解锁了新能力：从人类视频演示的一次性上下文模仿、在线策略改进、对扰动的鲁棒性，以及更强的多阶段长时序性能，在真实机器人操作任务上比单步上下文基线提升了 87%。
• 扩展预训练上下文长度首次带来了稳定的闭环性能提升：使用 8K 时间步上下文训练的 RoboTTT 比使用 1K 时间步预训练的相同模型高出 62%，完全完成了一个五分钟的十阶段装配任务，而所有基线均未完成，确立了上下文长度作为机器人基础模型的新扩展轴。

引言

大多数机器人基础模型依赖单步或短时视觉运动历史，限制了它们在长时序任务、从人类视频的上下文模仿、在线策略改进以及稳健闭环控制方面的能力。在现有基于 Transformer 的策略中扩展上下文长度会导致推理延迟随历史增加而增长，而循环架构通常难以捕捉复杂的长程依赖关系。为了克服这些障碍，作者引入了 RoboTTT，一种策略，在训练和推理期间都使用通过梯度下降更新的快速权重进行 Test-Time Training。这种设计将长观测-动作流压缩为紧凑的循环状态，将视觉运动上下文扩展到 8,000 时间步而不增加推理成本，并解锁了新的机器人能力。

方法

作者提出了 RoboTTT，一个将 Test-Time Training (TTT) 层集成到机器人基础模型中的框架，以实现在长上下文轨迹上的学习。该架构基于视觉-语言模型 (VLM) 基座和一个扩散 Transformer (DiT) 动作头。

模型架构 RoboTTT 在 DiT 动作头内的自注意力和交叉注意力层之后加入了 TTT 层。该设计确保注意力机制处理单步信息，而 TTT 层处理跨时间维度的信息流。DiT 的输入是跨越 $T$T 个时间步的机器人轨迹，包含学习的注册 token $R_t$Rt​、视觉-语言 token $\Phi_t$Φt​、编码的本体感觉 token $q_t$qt​ 和加噪的动作 token $\tilde{A}_t$A~t​。为了保持计算效率，VL token 不直接通过 TTT 层；而是由少量注册 token 在时间维度上传递这些信息。

为了保留预训练 VLA 模型的能力，作者采用了一个学习的 tanh 门控机制。对于每个 DiT 层，参数 $\boldsymbol{\alpha} \in \mathbb{R}^d$α∈Rd 初始化为接近零，对 TTT 贡献进行门控，如下所示： $O = \tanh(\alpha) \odot O_{\text{TTT}} + O_{\text{attn}}$O=tanh(α)⊙OTTT​+Oattn​ 其中 $O_{\text{TTT}}$OTTT​ 是 TTT 层输出，$O_{\text{attn}}$Oattn​ 是注意力层输出。这使得模型能够逐步调整 TTT 层的影响，而不会淹没预训练的计算。

如下图所示，训练过程涉及在序列上运行 TTT 以更新快速权重，而推理从学习的初始化 $W_0$W0​ 开始，并根据观测向前传播快速权重。

序列训练与优化 训练方案专注于学习合适的快速权重初始化 $W_0$W0​ 及其更新动态。TTT 投影矩阵和 $W_0$W0​ 作为模型参数的一部分进行学习。给定一个训练序列，模型在内部循环中运行 TTT，在每个时间步计算外部任务损失，并基于平均损失优化整个模型。这种元学习方法使快速权重更新专门针对机器人轨迹。

作者对动作使用流匹配目标，其中 DiT 头学习去噪动作块。为了稳定长序列训练，他们引入了序列动作强制，为序列中的每个动作块独立采样噪声级别 $\tau_t$τt​。这防止了整个序列变得均匀简单或难以学习。序列损失定义为： $\mathcal{L}_{\text{fm}}(\xi; W_0) = \frac{1}{T} \sum_{t=1}^T \mathbb{E}_{\tau_t, \epsilon} \left[ \| v_\theta(\Phi_t, A_t^{\tau_t}, q_t; W_{t-1}) - (A_t - \epsilon) \|^2 \right]$Lfm​(ξ;W0​)=T1​∑t=1T​Eτt​,ϵ​[∥vθ​(Φt​,Atτt​​,qt​;Wt−1​)−(At​−ϵ)∥2]

使用完整反向传播训练长序列会消耗大量内存。为解决这一问题，作者采用了截断时间反向传播（TBPTT）。输入序列被划分为段，梯度仅在各个段内流动。关键的是，快速权重跨段边界传递，允许 TTT 在整个序列上继续，同时保持 GPU 内存取决于段长度而非总序列长度。

如下图所示，梯度在段边界处截断，但快速权重以分离梯度的方式传递，以保持时间上下文。

从上下文中有效学习 RoboTTT 通过屏蔽选定时间步上的流匹配损失，将快速权重更新与慢速权重更新解耦。这些被屏蔽的时间步作为纯上下文，更新快速权重而不提供模仿目标。这种机制使得能够从异构上下文中学习，例如人类视频演示或次优的机器人 rollout。

此机制的一个关键应用是 DAgger Distillation。在标准的 DAgger 设置中，一条轨迹包含交错的机器人动作和人类纠正。标准微调丢弃次优的机器人动作。然而，RoboTTT 将两者用于不对称的角色。在序列训练期间，快速权重根据完整的交互历史（包括次优机器人动作）进行更新，但流匹配损失被屏蔽，仅计算在人类纠正上。这种不对称性将失败到纠正的映射提炼到快速权重中，教会策略在线地响应失败以产生纠正。

下图可视化了这一过程，展示了机器人动作如何作为上下文用于快速权重更新，而人类纠正提供了学习信号。

实验

实验在三个灵巧、长时序的双臂装配任务上评估了 RoboTTT，对比单步、历史增强和循环基线。RoboTTT 通过跟踪任务进度以避免阶段混淆、从错误中策略性恢复并实现精细精度，始终优于基线，同时扩展预训练上下文长度通过其基于梯度的快速权重更新带来了稳定的增益。长上下文条件化还解锁了从人类视频的一次性模仿和对扰动的鲁棒插曲内恢复，并且 DAgger 蒸馏方法使模型通过从自身次优动作中作为上下文学习而得到改进。

RoboTTT 在所有三个装配任务中始终获得最多的完全成功试验。它是唯一完成困难的 Gear Bot 任务的方法，10 次试验中有 2 次完全成功，而所有基线均未记录任何完全成功。在其他任务上，RoboTTT 以较大优势领先，在 Circuit 上比最佳基线的成功次数翻倍，在 Pup Go Car 上则达到三倍。RoboTTT 是唯一在 Gear Bot 上有任何完全成功试验的方法，在 10 次尝试中成功 2 次。RoboTTT 在 Circuit 上实现了 13 次完全成功试验，而最佳基线仅有 8 次。

在 Circuit 任务上，使用来自未见配置的人类视频进行一次性模仿，RoboTTT 达到了 65% 的任务完成分数，并在 10 次试验中完全完成 6 次，而 GDN 基线评分仅为 33% 且从未完全成功。这一巨大差距表明，当以单个演示为条件时，RoboTTT 对新装配配置的泛化能力强得多。RoboTTT 的完成分数是 GDN 的两倍多（65% vs 33%），并在 10 次试验中完全成功 6 次，而 GDN 在所有试验中均失败。评估以单个上下文人类视频（未见的 Circuit 配置）为条件，测试对新组件布局和装配顺序的一次性泛化。GDN 零成功 rollout 表明，其循环状态更新在无测试时梯度下降的情况下，不足以在此设置中稳健模仿。

RoboTTT 对外部扰动表现出最强的鲁棒性，在 20 次顶部试验中成功恢复 15 次，在 20 次轮胎试验中成功恢复 18 次。单步 GR00T N1.7 基线在大约一半试验中恢复，而附加历史帧将恢复次数急剧减少到仅 3 次顶部成功和 5 次轮胎成功。GDN 的循环状态比历史变体有所改进，但在顶部扰动恢复上仍不及 RoboTTT。RoboTTT 在顶部扰动恢复上比所有基线都更频繁，在轮胎扰动上则与 GDN 相当。将过去观测作为上下文包含会严重损害恢复，两种扰动类型的成功率均降至 25% 以下。

RoboTTT 在三个装配任务、一个基于人类演示的一次性泛化基准测试以及扰动恢复测试中进行了评估。它是唯一完成具有挑战性的 Gear Bot 装配的方法，并且在 Circuit 和 Pup Go Car 上比所有基线实现了显著更多的完全成功试验。在具有未见 Circuit 配置的一次性设置中，RoboTTT 达到了 65% 的完成分数，并在大多数试验中完全成功，而最佳基线则完全失败。在外部扰动下，RoboTTT 通过成功处理大多数顶部和轮胎位移，展示了最强的恢复能力，而基线，特别是那些使用过去观测作为上下文的方法，经常无法恢复。