Heeseong Shin Byeongho Heo Dongyoon Han Seungryong Kim Taekyung Kim

摘要

尽管预训练的视觉表征在模仿学习中取得了显著进展，但这些表征通常具有任务无关性，因为在策略学习过程中它们保持冻结状态。在本工作中，我们探索利用预训练的文本到图像扩散模型，获取适用于机器人控制任务的自适应视觉表征，且无需对扩散模型本身进行微调。然而，我们发现，简单地沿用在其他视觉领域中取得成功的文本条件策略，在控制任务中仅带来微弱甚至负面的性能提升。我们将其归因于扩散模型训练数据与机器人控制环境之间的领域差异，这促使我们提出应设计能够考虑控制任务所需求的特定、动态视觉信息的条件。为此，我们提出了ORCA方法，该方法引入可学习的任务提示（task prompts），使其能够适应控制环境，同时结合捕捉细粒度、帧级特性的视觉提示。通过我们新设计的条件机制，有效构建了任务自适应的视觉表征，该方法在多个机器人控制基准测试中达到了当前最优性能，显著超越了以往的方法。