Apprentissage cross-modale pour la complétion de formes de nuages de points guidée par image

Dans cet article, nous explorons le sujet récent de la complétion de nuages de points guidée par une image auxiliaire. Nous démontrons comment il est possible de combiner efficacement les informations provenant des deux modalités dans un espace latent localisé, évitant ainsi la nécessité d'utiliser des méthodes complexes de reconstruction de nuages de points à partir d'une seule vue, telles que celles adoptées par les méthodes de pointe actuelles. Nous étudions également un nouveau cadre faiblement supervisé, dans lequel l'image auxiliaire fournit un signal de supervision au processus d'entraînement grâce à un rendu différentiable appliqué au nuage de points complété, permettant ainsi de mesurer la fidélité dans l'espace image. Les expériences montrent des améliorations significatives par rapport aux méthodes supervisées de pointe, tant pour la complétion unimodale que multimodale. Nous démontrons également l'efficacité de l'approche faiblement supervisée, qui surpasse plusieurs méthodes supervisées et se montre compétitive avec les modèles supervisés les plus récents ne s'appuyant que sur des informations issues du nuage de points.