NU-MCC : Codage compressif multivue avec décodeur de voisinage et UDF répulsif

Des progrès remarquables ont été réalisés dans la reconstruction 3D à partir d'entrées RGB-D mono-vue. La méthode MCC est actuellement l'état de l'art dans ce domaine, obtenant un succès sans précédent en combinant des Transformers visuels avec une formation à grande échelle. Cependant, nous avons identifié deux limitations clés de MCC : 1) Le décodeur Transformer est inefficace pour traiter un grand nombre de points de requête ; 2) La représentation 3D peine à restituer des détails de haute fidélité. Dans cet article, nous proposons une nouvelle approche appelée NU-MCC qui remédie à ces limitations. NU-MCC comprend deux innovations majeures : un décodeur de Voisinage et une Fonction de Distance Non Signée Répulsive (Repulsive UDF). Premièrement, notre décodeur de Voisinage introduit des points centraux comme un proxy efficace des caractéristiques visuelles d'entrée, permettant à chaque point de requête de ne s'intéresser qu'à un petit voisinage. Cette conception non seulement accélère considérablement la vitesse d'inférence, mais elle permet également l'exploitation de caractéristiques visuelles à plus petite échelle pour une meilleure restitution des textures 3D. Deuxièmement, notre Fonction de Distance Non Signée Répulsive est une alternative novatrice au champ d'occupation utilisé dans MCC, améliorant considérablement la qualité de la reconstruction d'objets 3D. Comparativement aux UDFs standards qui souffrent de trous dans les résultats, notre Repulsive UDF peut réaliser une reconstruction surfacique plus complète. Les résultats expérimentaux montrent que NU-MCC est capable d'apprendre une représentation 3D robuste, faisant progresser significativement l'état de l'art en matière de reconstruction 3D mono-vue. En particulier, il surpasse MCC de 9,7 % en termes de score F1 sur le jeu de données CO3D-v2 tout en étant plus de 5 fois plus rapide en exécution.