AdaPoinTr : Complétion de nuages de points diversifiée avec des transformateurs adaptatifs sensibles à la géométrie

Dans cet article, nous proposons une nouvelle méthode qui reformule la complétion de nuages de points comme un problème de traduction ensemble-à-ensemble, et concevons un nouveau modèle, appelé PoinTr, qui utilise une architecture d’encodeur-décodeur Transformer pour la complétion de nuages de points. En représentant le nuage de points comme un ensemble de groupes non ordonnés de points munis d’embeddings de position, nous transformons les données d’entrée en une séquence de proxies de points et utilisons les Transformers pour la génération. Afin de permettre aux Transformers d’exploiter efficacement les biais inductifs liés aux structures géométriques 3D des nuages de points, nous introduisons par ailleurs un bloc sensible à la géométrie, qui modélise explicitement les relations géométriques locales. Le recours aux Transformers permet à notre modèle d’apprendre de manière plus efficace les connaissances structurelles et de préserver les détails fins lors de la complétion du nuage de points. En s’attaquant à des situations plus complexes et diversifiées, nous proposons également AdaPoinTr en développant un mécanisme d’adaptation de génération de requêtes et en concevant une nouvelle tâche de débruitage pendant la complétion du nuage de points. L’association de ces deux techniques permet une formation efficace et performante du modèle : nous réduisons le temps d’entraînement (de plus de 15 fois) et améliorons significativement la performance de complétion (de plus de 20 %). Nous montrons également que notre méthode peut être étendue au scénario de complétion de scène à grande échelle en concevant un nouveau cadre de complétion sémantique amélioré par la géométrie. Des expériences abondantes sur des jeux de données existants et récemment proposés démontrent l’efficacité de notre approche, qui atteint un score de 6,53 CD sur PCN, 0,81 CD sur ShapeNet-55 et 0,392 MMD sur le jeu de données réel KITTI, surpassant largement les méthodes antérieures et établissant de nouveaux états de l’art sur divers benchmarks. Notamment, AdaPoinTr parvient à ces performances prometteuses avec un débit plus élevé et un nombre réduit d’opérations flottantes (FLOPs) par rapport aux méthodes les plus performantes précédentes, en pratique. Le code source et les jeux de données sont disponibles à l’adresse suivante : https://github.com/yuxumin/PoinTr