HyperAIHyperAI

Command Palette

Search for a command to run...

CADG : un modèle fondé sur l'attention croisée pour la généralisation de domaine

Cheng Dai Yingqiao Lin Fan Li Xiyao Li Donglin Xie

Résumé

Dans les tâches de généralisation de domaine (Domain Generalization, DG), les modèles sont entraînés uniquement à partir de données d’apprentissage provenant de domaines sources afin d’atteindre une bonne généralisation sur un domaine cible inconnu, ce qui soulève le problème du décalage de distribution. Il est donc crucial d’apprendre un classificateur capable de se concentrer sur des représentations communes pouvant être utilisées pour la classification sur plusieurs domaines, de manière à garantir une performance élevée également sur un domaine cible non vu. À la suite du succès de l’attention croisée (cross attention) dans diverses tâches multimodales, nous constatons que cette mécanique s’avère particulièrement puissante pour aligner des caractéristiques issues de distributions différentes. Ainsi, nous proposons un modèle nommé CADG (Cross Attention for Domain Generalization), dans lequel l’attention croisée joue un rôle central afin de traiter le problème du décalage de distribution. Cette architecture permet au classificateur d’être efficacement appliqué à plusieurs domaines, assurant ainsi une bonne généralisation sur un domaine inconnu. Les expériences montrent que la méthode proposée atteint des performances de pointe sur diverses benchmarks de généralisation de domaine, surpassant non seulement d’autres méthodes basées sur un seul modèle, mais pouvant même dépasser certaines approches basées sur l’ensemblage.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp