Rendu neuronal de maillage 3D

Pour modéliser le monde 3D derrière les images 2D, quelle représentation 3D est la plus appropriée ? Un maillage polygonal est un candidat prometteur en raison de sa compacité et de ses propriétés géométriques. Cependant, il n'est pas simple de modéliser un maillage polygonal à partir d'images 2D en utilisant des réseaux neuronaux, car la conversion d'un maillage en image, ou le rendu, implique une opération discrète appelée rasterisation, qui empêche la rétropropagation. Par conséquent, dans cette étude, nous proposons un gradient approximatif pour la rasterisation permettant l'intégration du rendu dans les réseaux neuronaux. En utilisant ce rendu, nous effectuons une reconstruction de maillage 3D à partir d'une seule image sous la supervision d'images de silhouettes, et notre système surpasse l'approche existante basée sur les voxels. De plus, nous réalisons pour la première fois des opérations d'édition de maillages 3D basées sur les gradients, telles que le transfert de style 2D-3D et le 3D DeepDream (3D DeepDream), avec une supervision 2D. Ces applications démontrent le potentiel de l'intégration d'un rendu de maillage dans les réseaux neuronaux ainsi que l'efficacité de notre rendu proposé.