RFNet-4D++ : Reconstruction d'objets et estimation du flot à partir de nuages de points 4D avec des caractéristiques spatio-temporelles à attention croisée

La reconstruction d'objets à partir de nuages de points 3D a longtemps été un problème de recherche important en vision par ordinateur et en infographie, et des progrès impressionnants ont été réalisés dans ce domaine. Cependant, la reconstruction à partir de nuages de points variant dans le temps (également appelés nuages de points 4D) est généralement négligée. Dans cet article, nous proposons une nouvelle architecture de réseau, nommée RFNet-4D++, qui reconstruit simultanément les objets et leurs flux de mouvement à partir de nuages de points 4D. L'idée clé est que l'exécution simultanée des deux tâches grâce à l'apprentissage des caractéristiques spatiales et temporelles à partir d'une séquence de nuages de points peut améliorer les performances individuelles, conduisant ainsi à une meilleure performance globale. Pour démontrer cette capacité, nous avons conçu un module d'apprentissage de champs vectoriels temporels utilisant une approche d'apprentissage non supervisé pour la tâche d'estimation du flux, renforcée par l'apprentissage supervisé des structures spatiales pour la reconstruction d'objets. De nombreuses expériences et analyses menées sur des jeux de données de référence ont validé l'efficacité et l'efficience de notre méthode. Comme le montrent les résultats expérimentaux, notre méthode atteint des performances d'état de l'art tant en estimation du flux qu'en reconstruction d'objets tout en étant beaucoup plus rapide que les méthodes existantes lors des phases d'entraînement et d'inférence. Notre code source et nos données sont disponibles sur https://github.com/hkust-vgd/RFNet-4D.