3D-R2N2 : Une approche unifiée pour la reconstruction d'objets 3D à partir de vues simples et multiples

Inspirationnée par les récentes réussites des méthodes utilisant des a priori de forme pour obtenir des reconstructions 3D robustes, nous proposons une nouvelle architecture de réseau neuronal récurrent que nous appelons le Réseau Neuronal Récurrent de Reconstruction 3D (3D-R2N2). Ce réseau apprend une correspondance entre les images d'objets et leurs formes 3D sous-jacentes à partir d'une vaste collection de données synthétiques. Notre réseau prend en entrée une ou plusieurs images d'une instance d'objet depuis des points de vue arbitraires et produit une reconstruction de l'objet sous la forme d'une grille d'occupation 3D. Contrairement à la plupart des travaux précédents, notre réseau n'a pas besoin d'annotations d'images ni de labels de classe d'objets pour l'apprentissage ou le test. Notre analyse expérimentale approfondie montre que notre cadre de reconstruction i) surpasse les méthodes les plus avancées pour la reconstruction mono-vue, et ii) permet la reconstruction 3D d'objets dans des situations où les méthodes traditionnelles SFM/SLAM échouent (en raison du manque de texture et/ou d'une base large).