PoinTr : Complétion de nuages de points diversifiée à l’aide de Transformers sensibles à la géométrie

Les nuages de points capturés dans des applications réelles sont souvent incomplets en raison de la résolution limitée des capteurs, du point de vue unique et des occlusions. Par conséquent, la reconstruction de nuages de points complets à partir de ceux partiellement observés devient une tâche indispensable dans de nombreuses applications pratiques. Dans cet article, nous proposons une nouvelle méthode qui reformule la complétion de nuages de points comme un problème de traduction ensemble-à-ensemble, et concevons un nouveau modèle, appelé PoinTr, basé sur une architecture d’encodeur-décodeur à transformer pour la complétion de nuages de points. En représentant le nuage de points comme un ensemble de groupes non ordonnés de points munis d’embeddings de position, nous transformons le nuage en une séquence de proxy de points, que nous traitons à l’aide de transformateurs pour la génération de nuages de points. Afin d’aider les transformateurs à mieux exploiter les biais inductifs relatifs aux structures géométriques 3D des nuages de points, nous introduisons également un bloc sensible à la géométrie, qui modélise explicitement les relations géométriques locales. L’adoption des transformateurs permet à notre modèle d’apprendre plus efficacement les connaissances structurelles et de préserver davantage les détails fins pour la complétion de nuages de points. En outre, nous proposons deux nouveaux benchmarks plus exigeants, comprenant des nuages de points incomplets plus diversifiés, afin de mieux refléter des scénarios réels et stimuler les recherches futures. Les résultats expérimentaux montrent que notre méthode surpasser largement les méthodes de pointe sur les nouveaux benchmarks ainsi que sur les existants. Le code est disponible à l’adresse suivante : https://github.com/yuxumin/PoinTr