Amélioration de la transférabilité pour les détecteurs Transformer adaptatifs au domaine

Les détecteurs de type DETR se distinguent dans les scénarios où le domaine de formation et celui de test sont similaires, mais leurs propriétés dans les situations de décalage de domaine restent peu explorées. Ce papier vise à établir une base simple mais efficace pour un détecteur de type DETR dans des conditions de décalage de domaine, fondée sur deux constatations. Premièrement, atténuer le décalage de domaine sur les caractéristiques issues du modèle de base (backbone) et des sorties du décodeur conduit à de meilleurs résultats. Deuxièmement, l’application de méthodes avancées d’alignement de domaine dans ces deux composants améliore encore davantage les performances. Ainsi, nous proposons deux modules : le module d’alignement sensible aux objets (Object-Aware Alignment, OAA) et le module d’alignement basé sur le transport optimal (Optimal Transport based Alignment, OTA), afin d’assurer un alignement de domaine complet sur les sorties du modèle de base et du détecteur. Le module OAA aligne les régions d’intérêt (foreground) identifiées par des pseudo-étiquettes dans les sorties du modèle de base, produisant ainsi des caractéristiques invariantes par rapport au domaine. Le module OTA utilise la distance de Wasserstein tronquée (sliced Wasserstein distance) pour maximiser la préservation des informations de localisation tout en minimisant l’écart de domaine dans les sorties du décodeur. Nous intégrons ces observations et ces modules dans notre méthode d’adaptation, qui constitue désormais une référence pour les détecteurs de type DETR dans des scénarios de décalage de domaine. Des expérimentations menées sur diverses situations d’adaptation de domaine confirment l’efficacité de notre approche.