Apprentissage de la transformation géométrique pour la complétion de nuages de points

La complétion de nuages de points vise à estimer la forme manquante à partir d’un nuage de points partiel. Les modèles génératifs basés sur l’architecture encodeur-décodeur existants reconstruisent généralement le nuage de points complet à partir de la distribution apprise du prédicat de forme, ce qui peut entraîner une distorsion des détails géométriques (comme les structures anguleuses ou les éléments sans surfaces lisses) en raison de la perte d’information dans l’encodage de l’espace latent. Pour résoudre ce problème, nous formulons la complétion de nuages de points comme un problème de transformation géométrique et proposons un réseau de transformation géométrique simple mais efficace, appelé GTNet. Ce réseau exploite les structures géométriques répétitives présentes dans les objets 3D courants afin de restaurer les formes complètes. Il se compose de trois sous-réseaux : un réseau de patches géométriques, un réseau de transformation de structure et un réseau de raffinement de détails. Plus précisément, le réseau de patches géométriques découvre itérativement des structures géométriques répétitives liées ou similaires aux parties manquantes. Ensuite, le réseau de transformation de structure utilise ces structures géométriques découvertes pour compléter les parties correspondantes en apprenant leurs transformations spatiales, telles que la symétrie, la rotation, la translation et l’échelle uniforme. Enfin, le réseau de raffinement de détails effectue une optimisation globale afin d’éliminer les structures artificielles. Des expériences étendues montrent que la méthode proposée surpasser les états de l’art sur les jeux de données Shape-Net55-34, MVP, PCN et KITTI. Les modèles et le code seront disponibles à l’adresse suivante : https://github.com/ivislabhit/GTNet.