HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage par dualité de cohérence hallucinée par style pour la segmentation sémantique généralisée de domaine

Yuyang Zhao Zhun Zhong Na Zhao Nicu Sebe Gim Hee Lee

Résumé

Dans cet article, nous étudions la tâche de segmentation sémantique généralisée du domaine synthétique vers le réel, dont l’objectif est d’apprendre un modèle robuste face à des scènes réelles inconnues à partir uniquement de données synthétiques. Le grand décalage de domaine entre les données synthétiques et les données réelles — notamment la faible variabilité environnementale dans les données sources et l’écart de distribution important entre les deux types de données — entrave considérablement les performances du modèle sur des scènes réelles inédites. Dans ce travail, nous proposons le cadre d’apprentissage SHADE (Style-HAllucinated Dual consistency learning), conçu pour atténuer ce décalage de domaine. Plus précisément, SHADE repose sur deux contraintes de cohérence : la cohérence de style (Style Consistency, SC) et la cohérence de rétrospection (Retrospection Consistency, RC). La SC enrichit les situations sources en encourageant le modèle à apprendre une représentation cohérente à travers des échantillons aux styles variés. La RC exploite les connaissances issues du monde réel afin de prévenir le surapprentissage aux données synthétiques, préservant ainsi une forte cohérence des représentations entre les modèles entraînés sur des données synthétiques et ceux sur des données réelles. Par ailleurs, nous introduisons un nouveau module de hallucination de style (Style Hallucination Module, SHM), conçu pour générer des échantillons aux styles diversifiés, essentiels à l’apprentissage par cohérence. Ce module sélectionne des styles de base à partir de la distribution source, permettant au modèle de générer dynamiquement des échantillons variés et réalistes durant l’entraînement. Les expériences montrent que notre méthode SHADE améliore significativement les performances, dépassant les méthodes de pointe de 5,05 % et 8,35 % en moyenne en mIoU sur trois jeux de données réelles, respectivement dans les configurations à source unique et à sources multiples.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp