SelfReg : Régularisation Contrastive Auto-supervisée pour la Généralisation de Domaine

En général, un environnement expérimental pour l'apprentissage profond suppose que les ensembles de données d'entraînement et de test sont tirés de la même distribution. Cependant, dans des situations réelles, une différence de distribution entre deux ensembles de données, appelée décalage de domaine (domain shift), peut survenir, ce qui devient un facteur majeur entravant les performances de généralisation du modèle. Le champ de recherche visant à résoudre ce problème est appelé la généralisation de domaine, et il atténue le problème du décalage de domaine en extrayant explicitement ou implicitement des caractéristiques invariantes au domaine. Dans des études récentes, des approches de généralisation de domaine basées sur l'apprentissage par contraste ont été proposées et ont obtenu d'excellentes performances. Ces approches nécessitent l'échantillonnage de paires de données négatives. Cependant, les performances fondamentales de l'apprentissage par contraste dépendent de la qualité et de la quantité des paires de données négatives. Pour remédier à ce problème, nous proposons une nouvelle méthode de régularisation pour la généralisation de domaine basée sur l'apprentissage par contraste, la régularisation auto-supervisée contrastive (SelfReg). L'approche proposée utilise uniquement des paires de données positives, ce qui résout divers problèmes causés par l'échantillonnage des paires négatives. De plus, nous proposons une couche de perturbation spécifique aux classes (Class-Specific Domain Perturbation Layer [CDPL]), qui permet d'appliquer efficacement l'augmentation mixup même lorsque seules des paires de données positives sont utilisées. Les résultats expérimentaux montrent que les techniques intégrées dans SelfReg ont contribué aux performances d'une manière compatible. Dans le benchmark récent DomainBed, la méthode proposée affiche des performances comparables à celles des alternatives traditionnelles d'avant-garde. Les codes sont disponibles à l'adresse suivante : https://github.com/dnap512/SelfReg.