HyperAIHyperAI

Command Palette

Search for a command to run...

Sur l'évolution de l'attention vers l'adaptation de domaine

Kekai Sheng Ke Li Xiawu Zheng Jian Liang Weiming Dong Feiyue Huang Rongrong Ji Xing Sun

Résumé

Vers une adaptation de domaine non supervisée (UDA) améliorée. Récemment, des chercheurs ont proposé divers modules d’attention conditionnés au domaine et ont obtenu des progrès prometteurs. Toutefois, étant donné que la configuration de l’attention — c’est-à-dire le type et la position du module d’attention — influence de manière significative les performances, il est plus général de concevoir une méthode d’optimisation automatique de cette configuration afin qu’elle s’adapte spécifiquement à tout scénario d’UDA. Pour la première fois, ce papier introduit EvoADA : un cadre novateur permettant d’évoluer automatiquement la configuration d’attention pour une tâche d’UDA donnée, sans intervention humaine. Plus précisément, nous proposons un nouvel espace de recherche contenant une diversité de configurations d’attention. Ensuite, afin d’évaluer ces configurations et de rendre la procédure de recherche orientée vers l’UDA (en termes de transférabilité + discrimination), nous appliquons une stratégie d’évaluation simple mais efficace : 1) entraîner les poids du réseau sur deux domaines en utilisant des méthodes standard d’adaptation de domaine ; 2) évoluer les configurations d’attention sous la guidance de leur capacité discriminative sur le domaine cible. Des expériences menées sur diverses benchmarks inter-domaines — notamment Office-31, Office-Home, CUB-Paintings et Duke-Market-1510 — révèlent que EvoADA améliore de manière cohérente plusieurs approches d’adaptation de domaine de pointe, et que les configurations d’attention optimales permettent d’atteindre des performances supérieures.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp