DepthMaster : Maîtriser les modèles de diffusion pour l'estimation de profondeur monoculaire

L'estimation de profondeur monoculaire dans le paradigme de diffusion-débruitage démontre une capacité de généralisation impressionnante mais souffre d'une vitesse d'inférence faible. Les méthodes récentes adoptent un paradigme déterministe en un seul pas pour améliorer l'efficacité de l'inférence tout en maintenant des performances comparables. Cependant, elles négligent l'écart entre les caractéristiques génératives et discriminatives, conduisant à des résultats sous-optimaux. Dans ce travail, nous proposons DepthMaster, un modèle de diffusion en un seul pas conçu pour adapter les caractéristiques génératives à la tâche d'estimation de profondeur discriminative. Premièrement, pour atténuer le surapprentissage des détails texturaux introduits par les caractéristiques génératives, nous proposons un module d'Alignement des Caractéristiques qui intègre des caractéristiques sémantiques de haute qualité pour renforcer la capacité représentative du réseau de débruitage. Deuxièmement, pour remédier au manque de détails fins dans le cadre déterministe en un seul pas, nous proposons un module d'Amélioration de Fourier pour équilibrer adaptativement la structure à basse fréquence et les détails à haute fréquence. Nous utilisons une stratégie d'entraînement en deux étapes afin de tirer pleinement parti du potentiel des deux modules. Dans la première étape, nous nous concentrons sur l'apprentissage de la structure globale de la scène avec le module d'Alignement des Caractéristiques, tandis que dans la seconde étape, nous exploitons le module d'Amélioration de Fourier pour améliorer la qualité visuelle. Grâce à ces efforts, notre modèle atteint des performances d'avant-garde en termes de généralisation et de préservation des détails, surpassant les autres méthodes basées sur la diffusion sur divers jeux de données. Notre page projet est disponible à l'adresse suivante : https://indu1ge.github.io/DepthMaster_page.