Distillation d'ensemble inter-domaine pour la généralisation de domaine

La généralisation de domaine est la tâche d'apprendre des modèles qui se généralisent à des domaines cibles non vus. Nous proposons une méthode simple mais efficace pour la généralisation de domaine, appelée distillation d'ensemble inter-domaines (XDED), qui apprend des caractéristiques invariantes aux domaines tout en encourageant le modèle à converger vers des minima plats, ce qui s'est récemment avéré être une condition suffisante pour la généralisation de domaine. À cette fin, notre méthode génère un ensemble de logits de sortie à partir des données d'entraînement ayant la même étiquette mais provenant de différents domaines, puis pénalise chaque sortie pour son écart par rapport à l'ensemble. De plus, nous présentons une technique de déstylisation qui normalise les caractéristiques afin d'encourager le modèle à produire des prédictions stylistiquement cohérentes même dans un domaine cible arbitraire. Notre méthode améliore considérablement la capacité de généralisation dans les benchmarks publics pour la classification d'images inter-domaines, l'identification de personnes inter-bases de données et la segmentation sémantique inter-bases de données. En outre, nous montrons que les modèles appris par notre méthode sont robustes contre les attaques adversaires et les altérations d'images.