HyperAIHyperAI
il y a 17 jours

Méthodes adaptatives pour la généralisation de domaine agrégée

Xavier Thomas, Dhruv Mahajan, Alex Pentland, Abhimanyu Dubey
Méthodes adaptatives pour la généralisation de domaine agrégée
Résumé

La généralisation de domaine consiste à apprendre un classificateur à partir d'une collection hétérogène de sources d'apprentissage, de manière à ce qu'il se généralise à des données provenant de domaines cibles inconnus mais similaires, avec des applications en apprentissage à grande échelle et en inférence personnalisée. Dans de nombreux contextes, les préoccupations liées à la vie privée empêchent d'obtenir des étiquettes de domaine pour les échantillons de données d'apprentissage, et l'on ne dispose alors que d'une collection agrégée de points d'apprentissage. Les approches existantes qui utilisent les étiquettes de domaine pour construire des représentations de caractéristiques invariantes au domaine ne sont pas applicables dans ce cadre, ce qui nécessite des approches alternatives pour apprendre des classificateurs généralisables. Dans cet article, nous proposons une approche adaptative au domaine pour ce problème, fonctionnant en deux étapes : (a) nous regroupons les données d'apprentissage dans un espace de caractéristiques soigneusement choisi afin de créer des pseudo-domaines, et (b) à l'aide de ces pseudo-domaines, nous apprenons un classificateur adaptatif au domaine qui effectue des prédictions en exploitant à la fois les informations relatives à l'entrée et celles relatives au pseudo-domaine auquel elle appartient. Notre méthode atteint des performances de pointe sur diverses benchmarks de généralisation de domaine, sans jamais utiliser d'étiquettes de domaine. En outre, nous fournissons de nouvelles garanties théoriques pour la généralisation de domaine fondées sur les informations de regroupement. Notre approche est compatible avec les méthodes basées sur l'ensemblage et apporte des gains significatifs même sur des jeux de données de benchmark à grande échelle. Le code est disponible à l'adresse suivante : https://github.com/xavierohan/AdaClust_DomainBed