SF(DA)$^2$ : Adaptation de domaine sans source à travers le prisme de la mise en œuvre de données

Face à la vulnérabilité des modèles d’apprentissage profond aux décalages de domaine, des méthodes d’adaptation de domaine sans source (SFDA, source-free domain adaptation) ont été proposées afin d’adapter les modèles à de nouveaux domaines cibles inconnus, sans nécessiter l’accès aux données du domaine source. Bien que les bénéfices potentiels de l’application de l’augmentation de données dans le cadre de la SFDA soient séduisants, plusieurs défis émergent, notamment la dépendance aux connaissances a priori sur les transformations préservant les classes, ainsi qu’une augmentation des exigences en mémoire et en calcul. Dans cet article, nous proposons SF(DA)$^2$, une nouvelle approche fondée sur l’augmentation de données pour l’adaptation de domaine sans source, qui exploite les avantages de l’augmentation sans subir ces inconvénients. Nous construisons un graphe d’augmentation dans l’espace des caractéristiques du modèle préentraîné en exploitant les relations de voisinage entre les caractéristiques cibles, et introduisons un clustering spectral des voisins afin d’identifier des partitions dans l’espace de prédiction. Par ailleurs, nous proposons deux pertes régularisatrices : une augmentation implicite des caractéristiques et une désentrelacement des caractéristiques, qui exploitent efficacement les informations sémantiques des classes au sein de l’espace des caractéristiques. Ces régularisateurs simulent l’inclusion d’un nombre illimité de caractéristiques cibles augmentées dans le graphe d’augmentation, tout en minimisant les coûts computationnels et mémoire. Notre méthode démontre une performance d’adaptation supérieure dans divers scénarios SFDA, incluant des jeux de données d’images 2D, des nuages de points 3D et un jeu de données fortement déséquilibré.