Espace de Coordonnées Objets Normalisé pour l'Estimation de la Pose et de la Taille des Objets au Niveau Catégoriel en 6D

L'objectif de cet article est d'estimer la position 6D et les dimensions d'instances d'objets inconnus dans une image RGB-D. Contrairement aux tâches d'estimation de la position 6D au niveau des instances, notre problème suppose qu'aucun modèle CAD exact des objets n'est disponible ni pendant l'entraînement ni lors des tests. Pour gérer différentes instances d'objets inconnus au sein d'une catégorie donnée, nous introduisons un Espace de Coordonnées Objets Normalisé (NOCS) --- une représentation canonique partagée pour toutes les instances possibles d'objets au sein d'une catégorie. Notre réseau neuronal basé sur les régions est ensuite formé pour inférer directement la correspondance entre les pixels observés et cette représentation partagée de l'objet (NOCS), ainsi que d'autres informations sur l'objet telles que l'étiquette de classe et le masque d'instance. Ces prédictions peuvent être combinées avec la carte de profondeur pour estimer conjointement la position métrique 6D et les dimensions de plusieurs objets dans une scène encombrée. Pour entraîner notre réseau, nous présentons une nouvelle technique contextuelle permettant de générer de grandes quantités de données mixtes réalité-virtuelle entièrement annotées. Pour améliorer davantage notre modèle et évaluer ses performances sur des données réelles, nous fournissons également un jeu de données du monde réel entièrement annoté avec une grande variété environnementale et des variations importantes entre les instances. De nombreuses expériences montrent que la méthode proposée est capable d'estimer robustement la position et la taille d'instances d'objets inconnus dans des environnements réels tout en atteignant des performances à l'état de l'art sur des benchmarks standard d'estimation de la position 6D.