HyperAIHyperAI

Command Palette

Search for a command to run...

DGInStyle : Segmentation sémantique généralisable au domaine à l'aide de modèles de diffusion d'images et de contrôle stylisé des sémantiques

Yuru Jia Lukas Hoyer Shengyu Huang Tianfu Wang Luc Van Gool Konrad Schindler Anton Obukhov

Résumé

Les grands modèles préentraînés de diffusion latente (LDM) ont démontré une capacité exceptionnelle à générer du contenu créatif, à s’adapter aux données utilisateur grâce à un fine-tuning à très faible nombre d’exemples, et à conditionner leur sortie à d’autres modalités, telles que des cartes sémantiques. Toutefois, peuvent-ils être utilisés comme générateurs de données à grande échelle, par exemple pour améliorer des tâches du pipeline de perception, comme la segmentation sémantique ? Nous examinons cette question dans le contexte de la conduite autonome, et y répondons de manière catégorique par l’affirmative. Nous proposons une chaîne de génération de données efficace, nommée DGInStyle. Premièrement, nous étudions le problème de spécialisation d’un LDM préentraîné pour une génération contrôlée sémantiquement dans un domaine restreint. Deuxièmement, nous introduisons une technique appelée Style Swap afin d’imprégner le puissant prior génératif avec un contrôle sémantique appris. Troisièmement, nous concevons une méthode de fusion latente multi-résolution pour surmonter le biais des LDM en faveur des objets dominants. Grâce à DGInStyle, nous générons un jeu de données diversifié d’images de scènes routières, entraînons un modèle de segmentation sémantique indépendant du domaine sur ce jeu, puis évaluons ce modèle sur plusieurs jeux de données populaires dédiés à la conduite autonome. Notre approche améliore de manière cohérente les performances de plusieurs méthodes de généralisation de domaine par rapport aux états de l’art précédents. Le code source et le jeu de données générés sont disponibles à l’adresse suivante : https://dginstyle.github.io.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp