摘要

开发能够在现实场景中执行复杂交互任务的具身智能体仍然是具身人工智能（Embodied AI）领域的一个基本挑战。尽管最近在仿真平台方面的进展大大丰富了训练具身体视觉语言模型（Vision Language Models, VLMs）的任务多样性，但大多数平台依赖简化的机器人形态，并且绕过了低级执行中的随机性质，这限制了它们向真实世界机器人的迁移能力。为了解决这些问题，我们提出了一种基于物理的仿真平台DualTHOR，用于复杂的双臂类人机器人，该平台建立在AI2-THOR的扩展版本之上。我们的仿真器包括真实世界的机器人资产、双臂协作任务套件以及类人机器人的逆运动学求解器。我们还引入了一种应对机制，通过基于物理的低级执行来纳入潜在故障，从而弥合与现实场景之间的差距。我们的仿真器使得在家庭环境中对VLMs的鲁棒性和泛化能力进行更全面的评估成为可能。广泛的评估表明，当前的VLMs在双臂协调方面存在困难，并且在具有应对机制的真实环境中表现出有限的鲁棒性，突显了使用我们的仿真器开发更具能力的VLMs以完成具身任务的重要性。代码可在https://github.com/ds199895/DualTHOR.git 获取。