CSDN : Réseau à double réaffinement par transfert de forme multimodale pour la complétion de nuages de points

Comment réparer un objet physique présentant des parties manquantes ? On peut imaginer sa forme originale à partir d’images précédemment capturées, reconstruire d’abord sa forme globale (mais brute), puis affiner progressivement les détails locaux. Inspirés par cette procédure de réparation physique, nous proposons une méthode de complétion de nuages de points de haute qualité, fondée sur un paradigme grossier-vers-fin, intitulé CSDN (Cross-Modal Shape-Transfer Dual-Refinement Network), caractérisé par une participation continue des images tout au long du processus. Le réseau CSDN repose principalement sur deux modules : « fusion de forme » et « réaffinement dual », conçus pour relever le défi intermodale. Le premier module transfère les caractéristiques intrinsèques de forme issues d’images uniques afin de guider la génération géométrique des régions manquantes du nuage de points. À cet effet, nous introduisons IPAdaIN, une méthode qui intègre les caractéristiques globales à la fois de l’image et du nuage de points partiel dans le processus de complétion. Le second module affine la sortie grossière en ajustant les positions des points générés : l’unité de réaffinement local exploite les relations géométriques entre les points nouveaux et les points d’entrée via une convolution de graphe, tandis que l’unité de contrainte globale utilise l’image d’entrée pour affiner les décalages générés. Contrairement à la plupart des approches existantes, CSDN exploite non seulement les informations complémentaires provenant des images, mais aussi efficacement les données intermodales tout au long du processus de complétion grossier-vers-fin. Les résultats expérimentaux montrent que CSDN se distingue favorablement par rapport à dix concurrents sur un benchmark intermodale.