Apprentissage de texture par randomisation de domaine pour une segmentation généralisée au domaine

Les modèles de segmentation sémantique basés sur les réseaux de neurones profonds (DNN) entraînés sur un domaine source peinent souvent à généraliser à des domaines cibles inédits, un problème connu sous le nom d’écart de domaine. La texture contribue fréquemment à cet écart, rendant les DNN vulnérables aux décalages de domaine en raison de leur biais en faveur de la texture. Les méthodes existantes de segmentation sémantique généralisée au domaine (DGSS) ont atténué ce problème en guidant les modèles à privilégier la forme plutôt que la texture. Toutefois, la forme et la texture constituent deux indicateurs majeurs et complémentaires en segmentation sémantique. Ce papier soutient que l’exploitation de la texture est cruciale pour améliorer les performances en DGSS. Plus précisément, nous proposons un cadre novateur, intitulé Texture Learning Domain Randomization (TLDR), comprenant deux pertes originales pour renforcer efficacement l’apprentissage de la texture en DGSS : (1) une perte de régularisation de texture, qui empêche le surapprentissage aux textures du domaine source en exploitant des caractéristiques de texture issues d’un modèle pré-entraîné sur ImageNet, et (2) une perte de généralisation de texture, qui utilise des images de style aléatoires pour apprendre de manière auto-supervisée des représentations texturales diversifiées. Des résultats expérimentaux étendus démontrent l’efficacité du TLDR proposé ; par exemple, TLDR atteint 46,5 mIoU sur la tâche GTA-to-Cityscapes avec ResNet-50, soit une amélioration de 1,9 mIoU par rapport à la méthode précédente de l’état de l’art. Le code source est disponible à l’adresse suivante : https://github.com/ssssshwan/TLDR.