Adaptation de domaine sensible au contexte dans la segmentation sémantique

Dans cet article, nous abordons le problème de l’adaptation de domaine non supervisée en segmentation sémantique. Ce domaine comporte deux enjeux principaux : ce qu’il convient de transférer entre deux domaines, et comment procéder au transfert. Les méthodes existantes se concentrent principalement sur l’adaptation de caractéristiques invariantes au domaine (ce qu’il faut transférer) via l’apprentissage adversaire (comment transférer). Toutefois, la dépendance contextuelle est essentielle pour la segmentation sémantique, et sa transférabilité reste encore mal comprise. En outre, la manière de transférer l’information contextuelle entre deux domaines n’a pas encore été explorée. Motivés par ces lacunes, nous proposons un mécanisme à attention croisée basé sur l’attention auto-attention afin de capturer les dépendances contextuelles entre deux domaines et d’adapter le contexte transférable. Pour atteindre cet objectif, nous concevons deux modules d’attention inter-domaines pour adapter les dépendances contextuelles respectivement selon les dimensions spatiale et canal. Plus précisément, le module d’attention spatiale capture les dépendances locales entre chaque position dans les images source et cible, tandis que le module d’attention canal modélise les dépendances sémantiques entre chaque paire de cartes de canaux inter-domaines. Pour adapter ces dépendances contextuelles, nous aggregons de manière sélective les informations contextuelles provenant des deux domaines. L’efficacité de notre méthode par rapport aux méthodes de pointe existantes est démontrée expérimentalement sur les jeux de données « GTA5 vers Cityscapes » et « SYNTHIA vers Cityscapes ».