HyperAIHyperAI

Command Palette

Search for a command to run...

L’ajustement fin des modèles de diffusion conditionnels aux images est plus simple que vous ne le pensez.

Gonzalo Martin Garcia Karim Abou Zeid Christian Schmidt Daan de Geus Alexander Hermans Bastian Leibe

Résumé

Des travaux récents ont montré que les grands modèles de diffusion peuvent être réutilisés comme estimateurs de profondeur monoculaire très précis en reformulant l'estimation de la profondeur comme une tâche de génération d'images conditionnelle à une image. Bien que le modèle proposé ait obtenu des résultats d'état de l'art, les exigences computationnelles élevées dues à l'inférence multistep en ont limité l'utilisation dans de nombreux scénarios. Dans cet article, nous démontrons que l'inefficacité perçue était due à un défaut dans le pipeline d'inférence qui n'avait jusqu'à présent pas été remarqué. Le modèle fixe offre des performances comparables à la meilleure configuration précédemment rapportée tout en étant plus de 200 fois plus rapide. Pour optimiser les performances des tâches downstream, nous effectuons un ajustement fine-tuning bout à bout au-dessus du modèle en un seul step avec des pertes spécifiques à la tâche et obtenons un modèle déterministe qui surpasse tous les autres modèles basés sur la diffusion pour l'estimation de la profondeur et des normales sur des benchmarks zero-shot courants. Nous constatons avec surprise que ce protocole d'ajustement fine-tuning fonctionne également directement sur Stable Diffusion (Stable Diffusion) et atteint des performances comparables aux modèles actuels d'état de l'art basés sur la diffusion pour l'estimation de la profondeur et des normales, remettant ainsi en question certaines conclusions tirées des travaux antérieurs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp