HyperAIHyperAI

Command Palette

Search for a command to run...

AdaPoinTr : Complétion de nuages de points diversifiée avec des transformateurs adaptatifs sensibles à la géométrie

Xumin Yu Yongming Rao Ziyi Wang Jiwen Lu Jie Zhou

Résumé

Dans cet article, nous proposons une nouvelle méthode qui reformule la complétion de nuages de points comme un problème de traduction ensemble-à-ensemble, et concevons un nouveau modèle, appelé PoinTr, qui utilise une architecture d’encodeur-décodeur Transformer pour la complétion de nuages de points. En représentant le nuage de points comme un ensemble de groupes non ordonnés de points munis d’embeddings de position, nous transformons les données d’entrée en une séquence de proxies de points et utilisons les Transformers pour la génération. Afin de permettre aux Transformers d’exploiter efficacement les biais inductifs liés aux structures géométriques 3D des nuages de points, nous introduisons par ailleurs un bloc sensible à la géométrie, qui modélise explicitement les relations géométriques locales. Le recours aux Transformers permet à notre modèle d’apprendre de manière plus efficace les connaissances structurelles et de préserver les détails fins lors de la complétion du nuage de points. En s’attaquant à des situations plus complexes et diversifiées, nous proposons également AdaPoinTr en développant un mécanisme d’adaptation de génération de requêtes et en concevant une nouvelle tâche de débruitage pendant la complétion du nuage de points. L’association de ces deux techniques permet une formation efficace et performante du modèle : nous réduisons le temps d’entraînement (de plus de 15 fois) et améliorons significativement la performance de complétion (de plus de 20 %). Nous montrons également que notre méthode peut être étendue au scénario de complétion de scène à grande échelle en concevant un nouveau cadre de complétion sémantique amélioré par la géométrie. Des expériences abondantes sur des jeux de données existants et récemment proposés démontrent l’efficacité de notre approche, qui atteint un score de 6,53 CD sur PCN, 0,81 CD sur ShapeNet-55 et 0,392 MMD sur le jeu de données réel KITTI, surpassant largement les méthodes antérieures et établissant de nouveaux états de l’art sur divers benchmarks. Notamment, AdaPoinTr parvient à ces performances prometteuses avec un débit plus élevé et un nombre réduit d’opérations flottantes (FLOPs) par rapport aux méthodes les plus performantes précédentes, en pratique. Le code source et les jeux de données sont disponibles à l’adresse suivante : https://github.com/yuxumin/PoinTr


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
AdaPoinTr : Complétion de nuages de points diversifiée avec des transformateurs adaptatifs sensibles à la géométrie | Articles | HyperAI