Réseaux Génératifs d'Octrees : Architectures de Convolution Efficaces pour des Sorties 3D à Haute Résolution

Nous présentons une architecture de décodeur à convolution profonde capable de générer des sorties volumiques 3D de manière efficace en termes de calcul et de mémoire grâce à l'utilisation d'une représentation par octree. Le réseau apprend à prédire à la fois la structure de l'octree et les valeurs d'occupation des cellules individuelles. Cela en fait une technique particulièrement précieuse pour la génération de formes 3D. Contrairement aux décodeurs standards agissant sur des grilles voxelliques régulières, cette architecture n'a pas une complexité cubique. Cela permet de représenter des sorties d'une résolution beaucoup plus élevée avec un budget mémoire limité. Nous illustrons cela dans plusieurs domaines d'application, notamment les autoencodeurs convolutifs 3D, la génération d'objets et de scènes entières à partir de représentations de haut niveau, ainsi que la reconstruction de formes à partir d'une seule image.