摘要
我们介绍了一种名为RoboPose的方法，该方法可以从单个RGB图像中估计已知关节机器人的关节角度和6D相机到机器人的姿态。这是一个重要的问题，旨在使移动和巡回自主系统能够在非仪器环境中仅使用视觉信息与其他机器人进行交互，特别是在协作机器人领域。这一问题也颇具挑战性，因为机器人具有许多自由度和无限的可能配置空间，这些配置在单个摄像头成像时经常导致自遮挡和深度模糊。本研究的贡献有三个方面。首先，我们提出了一种新的渲染与比较方法来估计关节机器人的6D姿态和关节角度，该方法可以使用合成数据进行训练，在测试时泛化到新的未见过的机器人配置，并且适用于多种类型的机器人。其次，我们通过实验展示了机器人参数化对于迭代姿态更新的重要性，并设计了一种独立于机器人结构的参数化策略。最后，我们在四个不同机器人的现有基准数据集上展示了实验结果，并证明我们的方法显著优于现有技术。项目网页https://www.di.ens.fr/willow/research/robopose/上提供了代码和预训练模型。