PMP-Net++ : Complétion de nuage de points par chemins multi-étapes de déplacement de points améliorés par Transformer

La complétion de nuages de points consiste à prédire les parties manquantes de formes 3D incomplètes. Une stratégie courante consiste à générer une forme complète à partir d'une entrée incomplète. Toutefois, la nature non ordonnée des nuages de points nuit à la génération de formes 3D de haute qualité, car la topologie détaillée et la structure des points non ordonnés sont difficiles à capturer durant le processus de génération à l’aide d’un code latent extrait. Pour résoudre ce problème, nous reformulons la complétion comme un processus de déformation de nuage de points. Plus précisément, nous proposons un nouveau réseau neuronal, nommé PMP-Net++, afin de mimétiser le comportement d’un « transporteur de terre ». Ce réseau déplace chaque point de l’entrée incomplète afin d’obtenir un nuage de points complet, en minimisant la distance totale des chemins parcourus par les points (PMPs – Point Moving Paths). Ainsi, PMP-Net++ prédit une trajectoire unique de déplacement pour chaque point, sous la contrainte de distances de déplacement. Le réseau établit ainsi une correspondance stricte et unique au niveau des points, ce qui améliore significativement la qualité de la forme complète prédite. En outre, comme le déplacement des points dépend fortement des caractéristiques par point apprises par le réseau, nous introduisons par ailleurs un réseau d’apprentissage de représentations amélioré par transformateur, qui améliore notablement les performances de complétion de PMP-Net++. Nous menons des expériences approfondies sur la complétion de formes, et explorons également son application à l’up-sampling de nuages de points, démontrant ainsi une amélioration non négligeable de PMP-Net++ par rapport aux méthodes de pointe en complétion et en up-sampling de nuages de points.