HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur sensible à la transférabilité de la fusion de caractéristiques pour l'adaptation de domaine non supervisée

Xiaowei Yu Zhe Huang Zao Zhang

Résumé

L’adaptation de domaine non supervisée (UDA) vise à exploiter les connaissances acquises à partir de domaines sources étiquetés afin d’améliorer les performances sur des domaines cibles non étiquetés. Bien que les réseaux de neurones convolutifs (CNN) aient dominé les approches UDA antérieures, des recherches récentes ont montré un potentiel prometteur dans l’application des Vision Transformers (ViTs) à cette tâche. Dans cette étude, nous proposons un nouveau modèle, le Transformer à transférabilité des caractéristiques aware (FFTAT), visant à améliorer les performances des ViTs dans les tâches d’UDA. Notre méthode introduit deux innovations clés : premièrement, nous proposons un discriminateur de patch pour évaluer la transférabilité des patches, générant ainsi une matrice de transférabilité. Cette matrice est intégrée dans le mécanisme d’attention auto, guidant le modèle à se concentrer sur les patches transférables. Deuxièmement, nous introduisons une technique de fusion de caractéristiques permettant de combiner les embeddings dans l’espace latent, de sorte que chaque embedding puisse intégrer des informations provenant de tous les autres, améliorant ainsi la généralisation. Ces deux composants agissent de manière synergique pour renforcer l’apprentissage des représentations de caractéristiques. Des expériences étendues sur des benchmarks largement utilisés démontrent que notre méthode améliore significativement les performances en UDA, atteignant des résultats de pointe (SOTA).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp