Estimation de la position et des angles articulaires d'un robot à partir d'une seule vue par rendu et comparaison

Nous présentons RoboPose, une méthode permettant d'estimer les angles des articulations et la pose caméra-robot en 6D d'un robot articulé connu à partir d'une seule image RGB. Il s'agit d'un problème crucial pour doter les systèmes autonomes mobiles et itinérants de la capacité d'interagir avec d'autres robots en utilisant uniquement des informations visuelles dans des environnements non instrumentés, particulièrement dans le contexte de la robotique collaborative. Ce problème est également complexe car les robots possèdent de nombreux degrés de liberté et un espace infini de configurations possibles, qui entraînent souvent des auto-occultations et des ambiguïtés de profondeur lorsqu'ils sont filmés par une seule caméra. Les contributions de ce travail sont triples. Premièrement, nous introduisons une nouvelle approche « rendu & comparaison » pour estimer la pose en 6D et les angles des articulations d'un robot articulé, qui peut être formée à partir de données synthétiques, se généralise à de nouvelles configurations de robots inconnues au moment du test, et peut être appliquée à divers types de robots. Deuxièmement, nous démontrons expérimentalement l'importance de la paramétrisation du robot pour les mises à jour itératives de la pose et concevons une stratégie de paramétrisation indépendante de la structure du robot. Enfin, nous présentons des résultats expérimentaux sur des jeux de données existants pour quatre robots différents et montrons que notre méthode dépasse significativement l'état de l'art. Le code source et les modèles pré-entraînés sont disponibles sur la page web du projet : https://www.di.ens.fr/willow/research/robopose/.