HyperAIHyperAI

Command Palette

Search for a command to run...

Réaffectation des générateurs d'images basés sur la diffusion pour l'estimation de profondeur monoscopique

Bingxin Ke Anton Obukhov Shengyu Huang Nando Metzger Rodrigo Caye Daudt Konrad Schindler

Résumé

L’estimation de profondeur monoscopique est une tâche fondamentale en vision par ordinateur. Récupérer la profondeur 3D à partir d’une seule image est un problème géométriquement mal posé et nécessite une compréhension du scénario, ce qui explique que l’essor du deep learning ait permis une percée dans ce domaine. Les progrès remarquables des estimateurs de profondeur monoscopique ont suivi la croissance de la capacité des modèles, passant de réseaux de neurones convolutifs (CNN) relativement modestes aux architectures Transformer de grande taille. Toutefois, ces estimateurs peinent souvent face à des images comportant des contenus ou des dispositions inconnus, car leurs connaissances du monde visuel sont limitées par les données observées lors de l’entraînement, et sont mises à l’épreuve par la généralisation zéro-shot à de nouveaux domaines. Cela nous a incités à explorer si les connaissances a priori étendues capturées dans les récents modèles génératifs à diffusion peuvent permettre une estimation de profondeur plus performante et plus généralisable. Nous introduisons Marigold, une méthode d’estimation de profondeur monoscopique invariante par affinité, dérivée de Stable Diffusion et conservant ainsi ses connaissances a priori riches. Ce modèle peut être affiné en quelques jours sur une seule carte GPU, en utilisant uniquement des données synthétiques. Il atteint des performances de pointe sur une large gamme de jeux de données, avec des gains de performance dépassant 20 % dans certains cas particuliers. Page du projet : https://marigoldmonodepth.github.io.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp