3D-RCNN : Reconstruction 3D d'objets au niveau des instances par méthode d'analyse par rendu et comparaison

Nous présentons un cadre rapide de traitement inverse des graphiques pour la compréhension 3D au niveau des instances dans les scènes. Nous entraînons un réseau convolutionnel profond capable d’apprendre à mapper des régions d’image vers la forme 3D complète et la pose de toutes les instances d’objets présentes dans l’image. Notre méthode génère une représentation 3D compacte de la scène, facilement exploitée pour des applications telles que la conduite autonome. De nombreuses sorties classiques en vision 2D, telles que les segmentations d’instances ou les cartes de profondeur, peuvent être obtenues simplement en rendant notre modèle 3D de scène. Nous exploitons des a priori de forme spécifiques aux classes en apprenant un espace de forme à faible dimension à partir de collections de modèles CAD. Nous proposons de nouvelles représentations de la forme et de la pose, visant à améliorer l’équivalence 3D et la généralisation. Afin d’exploiter pleinement les signaux de supervision riches disponibles sous forme d’annotations 2D, telles que les segmentations, nous introduisons une perte différentiable « Render-and-Compare » permettant d’apprendre la forme et la pose 3D avec une supervision 2D. Nous évaluons notre méthode sur les ensembles de données réalistes et exigeants Pascal3D+ et KITTI, où nous obtenons des résultats de pointe.