Adaptation de domaine adversaire guidée par l'auto-entraînement pour les images thermiques

Les modèles profonds entraînés sur de grandes bases de données d’images RGB ont démontré un succès considérable. Il est essentiel d’appliquer de tels modèles à des problèmes du monde réel. Toutefois, ces modèles rencontrent un goulot d’étranglement de performance en cas de variations d’éclairage. Les caméras infrarouges thermiques sont plus robustes face à de telles variations, ce qui en fait un outil particulièrement utile pour les applications du monde réel. Afin d’étudier l’efficacité de la combinaison de modalités riches en informations, à savoir le spectre visible et les images thermiques, nous proposons une méthode d’adaptation de domaine non supervisée ne nécessitant pas de paires d’images RGB-thermiques. Nous utilisons la grande base de données RGB MS-COCO comme domaine source et la base de données thermique FLIR ADAS comme domaine cible afin de démontrer les résultats de notre méthode. Bien que les méthodes d’adaptation de domaine adversariales visent à aligner les distributions des domaines source et cible, un simple alignement des distributions ne garantit pas une généralisation parfaite au domaine cible. À cet effet, nous proposons une méthode d’adaptation de domaine adversariale guidée par un auto-entraînement afin d’améliorer les capacités de généralisation des méthodes d’adaptation de domaine adversariales. Pour réaliser l’auto-entraînement, des étiquettes pseudo sont attribuées aux échantillons du domaine thermique cible afin d’apprendre des représentations plus généralisables pour ce domaine. Des analyses expérimentales étendues montrent que notre méthode proposée obtient de meilleurs résultats que les méthodes d’adaptation de domaine adversariales de pointe. Le code et les modèles sont disponibles publiquement.