Position 6-D d'un objet à partir de points clés sémantiques

Ce document présente une nouvelle approche pour estimer la posture continue à six degrés de liberté (6-DoF) d'un objet (translation et rotation en 3D) à partir d'une seule image RGB. Cette méthode combine les points clés sémantiques prédits par un réseau neuronal convolutif (convnet) avec un modèle de forme déformable. Contrairement aux travaux antérieurs, notre approche est agnostique quant à la présence ou non de textures sur l'objet, car le convnet apprend la représentation optimale à partir des données d'images d'entraînement disponibles. De plus, cette approche peut être appliquée à la récupération de posture basée sur des instances et des classes. Expérimentalement, nous montrons que l'approche proposée peut récupérer avec précision la posture 6-DoF de l'objet dans des scénarios basés sur des instances et des classes, même en présence d'un arrière-plan encombré. Pour l'estimation de la posture d'objets basée sur des classes, une précision à l'état de l'art est démontrée sur le jeu de données PASCAL3D+ à grande échelle.