Estimation générative de la forme et de la position au niveau des catégories avec des primitives sémantiques

Doter les agents autonomes d'une compréhension en 3D des objets quotidiens constitue un défi majeur dans les applications robotiques. Lors de l'exploration d'un environnement inconnu, les méthodes actuelles d'estimation de la pose des objets restent insatisfaisantes en raison de la diversité des formes des objets. Dans cet article, nous proposons un nouveau cadre pour l'estimation de la forme et de la pose des objets au niveau catégoriel à partir d'une seule image RGB-D. Pour gérer la variabilité intra-catégorielle, nous utilisons une représentation sémantique primitive qui encode des formes diverses dans un espace latent unifié, ce qui est essentiel pour établir des correspondances fiables entre les nuages de points observés et les formes estimées. Ensuite, en utilisant un descripteur de forme invariant par SIM(3), nous dissocions élégamment la forme et la pose d'un objet, permettant ainsi l'optimisation de la forme latente des objets cibles dans des poses arbitraires. De nombreuses expériences montrent que la méthode proposée atteint une performance d'estimation de pose en état de l'art (SOTA) et une meilleure généralisation sur le jeu de données réels. Le code source et une vidéo sont disponibles à l'adresse suivante : https://zju3dv.github.io/gCasp.