Déconvolution Snowflake Point pour la complétion et la génération de nuages de points avec Skip-Transformer

La plupart des méthodes existantes de complétion de nuages de points souffrent de la nature discrète des nuages de points ainsi que de la prédiction non structurée des points dans les régions locales, ce qui rend difficile la mise en évidence des détails géométriques fins. Pour résoudre ce problème, nous proposons SnowflakeNet, basé sur une déconvolution de points en forme de flocon (SPD), afin de générer des nuages de points complets. La SPD modélise la génération des nuages de points comme une croissance en forme de flocon, où les points enfants sont progressivement générés en divisant leurs points parents à chaque étape de SPD. Notre approche pour capturer les détails géométriques réside dans l’introduction d’un skip-transformer dans la SPD, conçu pour apprendre les motifs de division des points qui s’ajustent le mieux aux régions locales. Le skip-transformer utilise un mécanisme d’attention pour synthétiser les motifs de division utilisés dans la couche SPD précédente, afin de produire la division actuelle. Les nuages de points localement compacts et structurés générés par la SPD révèlent précisément les caractéristiques structurelles de la forme 3D au niveau des petites régions, permettant ainsi de prédire des géométries hautement détaillées. En outre, puisque la SPD est une opération générale non limitée à la complétion, nous explorons ses applications dans d’autres tâches génératives, notamment l’auto-encodage de nuages de points, la génération, la reconstruction à partir d’une seule image et le suréchantillonnage. Nos résultats expérimentaux surpassent les méthodes de pointe sur des benchmarks largement utilisés.