HyperAIHyperAI

Command Palette

Search for a command to run...

Appariement de gradients pour la généralisation de domaine

Yuge Shi Jeffrey Seely Philip H.S. Torr N. Siddharth Awni Hannun Nicolas Usunier Gabriel Synnaeve

Résumé

Les systèmes d’apprentissage automatique supposent généralement que les distributions des ensembles d’entraînement et de test sont étroitement corrélées. Toutefois, une exigence fondamentale de ces systèmes dans le monde réel réside dans leur capacité à généraliser à des domaines inédits. Dans cet article, nous proposons une objectif de correspondance des gradients entre domaines, visant à améliorer la généralisation inter-domaines en maximisant le produit scalaire entre les gradients issus de différents domaines. Étant donné que l’optimisation directe du produit scalaire des gradients peut s’avérer coûteuse en termes computationnels — nécessitant le calcul de dérivées d’ordre deux — nous dérivons un algorithme plus simple d’ordre un, nommé Fish, qui approche cette optimisation. Nous démontrons l’efficacité de Fish sur 6 jeux de données issus du benchmark Wilds, qui capture des décalages de distribution dans une large variété de modalités. Notre méthode obtient des résultats compétitifs sur ces jeux de données et dépasse tous les baselines sur 4 d’entre eux. Nous menons des expériences à la fois sur le benchmark Wilds, qui modélise des décalages de distribution dans des contextes réels, et sur des jeux de données du benchmark DomainBed, axé davantage sur le transfert de données synthétiques vers réelles. Nos résultats sont compétitifs sur les deux benchmarks, ce qui témoigne de l’efficacité de notre méthode dans une large gamme de tâches de généralisation inter-domaines.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp