Réseaux Matryoshka : Prédiction de la géométrie 3D par des couches de formes emboîtées

Dans cet article, nous développons de nouvelles encodages 2D efficaces pour la géométrie 3D, permettant de reconstruire des formes 3D complètes à partir d'une seule image et avec une haute résolution. L'idée clé consiste à formuler la reconstruction de formes 3D comme un problème de prédiction 2D. À cette fin, nous commençons par élaborer un réseau de base simple qui prédit l'ensemble des tubes de voxels pour chaque pixel d'une vue de référence. En exploitant des architectures bien établies pour les tâches de prédiction de pixels 2D, nous obtenons des résultats d'état de l'art, surpassant clairement les approches purement basées sur les voxels. Nous adaptons ce réseau de base à des résolutions plus élevées en proposant une encodage de forme économisant la mémoire, qui décompose récursivement une forme 3D en couches de forme imbriquées, similaires aux pièces d'une poupée russe (Matryoshka). Cela permet de reconstruire des formes très détaillées et complexes en topologie, comme le montrent nos expériences exhaustives ; nous surpassons nettement les approches précédentes basées sur les octrees malgré notre architecture beaucoup plus simple utilisant des composants standards du réseau. Nos réseaux Matryoshka permettent également la reconstruction de formes à partir d'IDs ou de similitudes de forme, ainsi que l'échantillonnage de formes.