HyperAIHyperAI

Command Palette

Search for a command to run...

DepthMaster : Maîtriser les modèles de diffusion pour l'estimation de profondeur monoculaire

Ziyang Song Zerong Wang Bo Li Hao Zhang Ruijie Zhu Li Liu Peng-Tao Jiang Tianzhu Zhang

Résumé

L'estimation de profondeur monoculaire dans le paradigme de diffusion-débruitage démontre une capacité de généralisation impressionnante mais souffre d'une vitesse d'inférence faible. Les méthodes récentes adoptent un paradigme déterministe en un seul pas pour améliorer l'efficacité de l'inférence tout en maintenant des performances comparables. Cependant, elles négligent l'écart entre les caractéristiques génératives et discriminatives, conduisant à des résultats sous-optimaux. Dans ce travail, nous proposons DepthMaster, un modèle de diffusion en un seul pas conçu pour adapter les caractéristiques génératives à la tâche d'estimation de profondeur discriminative. Premièrement, pour atténuer le surapprentissage des détails texturaux introduits par les caractéristiques génératives, nous proposons un module d'Alignement des Caractéristiques qui intègre des caractéristiques sémantiques de haute qualité pour renforcer la capacité représentative du réseau de débruitage. Deuxièmement, pour remédier au manque de détails fins dans le cadre déterministe en un seul pas, nous proposons un module d'Amélioration de Fourier pour équilibrer adaptativement la structure à basse fréquence et les détails à haute fréquence. Nous utilisons une stratégie d'entraînement en deux étapes afin de tirer pleinement parti du potentiel des deux modules. Dans la première étape, nous nous concentrons sur l'apprentissage de la structure globale de la scène avec le module d'Alignement des Caractéristiques, tandis que dans la seconde étape, nous exploitons le module d'Amélioration de Fourier pour améliorer la qualité visuelle. Grâce à ces efforts, notre modèle atteint des performances d'avant-garde en termes de généralisation et de préservation des détails, surpassant les autres méthodes basées sur la diffusion sur divers jeux de données. Notre page projet est disponible à l'adresse suivante : https://indu1ge.github.io/DepthMaster_page.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp