Estimation en temps réel de la pose globale d'un robot avec des états inconnus

L'estimation de la posture d'un robot à partir d'images RGB est un problème crucial dans le domaine de la vision par ordinateur et de la robotique. Bien que les méthodes précédentes aient obtenu des performances prometteuses, la plupart supposent une connaissance complète des états internes du robot, par exemple les angles réels des articulations du robot. Cependant, cette hypothèse n'est pas toujours valable dans les situations pratiques. Dans les applications réelles telles que la collaboration entre plusieurs robots ou l'interaction homme-robot, les états des articulations du robot peuvent ne pas être partagés ou peuvent être peu fiables. D'autre part, les approches existantes qui estiment la posture du robot sans utiliser des informations préalables sur les états des articulations souffrent de charges de calcul importantes et ne peuvent donc pas soutenir des applications en temps réel. Ce travail présente un cadre efficace pour l'estimation en temps réel de la posture d'un robot à partir d'images RGB sans nécessiter de connaître les états du robot. Notre méthode estime la rotation caméra-robot, les paramètres d'état du robot, les positions des points clés et la profondeur de la racine, en utilisant un module de réseau neuronal pour chaque tâche afin de faciliter l'apprentissage et le transfert simulation-réalité. Notamment, elle permet une inférence en un seul passage avant sans optimisation itérative. Notre approche offre une augmentation de vitesse 12 fois supérieure avec une précision à l'état de l'art, permettant pour la première fois une estimation holistique en temps réel de la posture d'un robot. Le code source et les modèles sont disponibles sur https://github.com/Oliverbansk/Holistic-Robot-Pose-Estimation.