Appariement de gradients pour la généralisation de domaine

Les systèmes d’apprentissage automatique supposent généralement que les distributions des ensembles d’entraînement et de test sont étroitement corrélées. Toutefois, une exigence fondamentale de ces systèmes dans le monde réel réside dans leur capacité à généraliser à des domaines inédits. Dans cet article, nous proposons une objectif de correspondance des gradients entre domaines, visant à améliorer la généralisation inter-domaines en maximisant le produit scalaire entre les gradients issus de différents domaines. Étant donné que l’optimisation directe du produit scalaire des gradients peut s’avérer coûteuse en termes computationnels — nécessitant le calcul de dérivées d’ordre deux — nous dérivons un algorithme plus simple d’ordre un, nommé Fish, qui approche cette optimisation. Nous démontrons l’efficacité de Fish sur 6 jeux de données issus du benchmark Wilds, qui capture des décalages de distribution dans une large variété de modalités. Notre méthode obtient des résultats compétitifs sur ces jeux de données et dépasse tous les baselines sur 4 d’entre eux. Nous menons des expériences à la fois sur le benchmark Wilds, qui modélise des décalages de distribution dans des contextes réels, et sur des jeux de données du benchmark DomainBed, axé davantage sur le transfert de données synthétiques vers réelles. Nos résultats sont compétitifs sur les deux benchmarks, ce qui témoigne de l’efficacité de notre méthode dans une large gamme de tâches de généralisation inter-domaines.