Sur l'évolution de l'attention vers l'adaptation de domaine

Vers une adaptation de domaine non supervisée (UDA) améliorée. Récemment, des chercheurs ont proposé divers modules d’attention conditionnés au domaine et ont obtenu des progrès prometteurs. Toutefois, étant donné que la configuration de l’attention — c’est-à-dire le type et la position du module d’attention — influence de manière significative les performances, il est plus général de concevoir une méthode d’optimisation automatique de cette configuration afin qu’elle s’adapte spécifiquement à tout scénario d’UDA. Pour la première fois, ce papier introduit EvoADA : un cadre novateur permettant d’évoluer automatiquement la configuration d’attention pour une tâche d’UDA donnée, sans intervention humaine. Plus précisément, nous proposons un nouvel espace de recherche contenant une diversité de configurations d’attention. Ensuite, afin d’évaluer ces configurations et de rendre la procédure de recherche orientée vers l’UDA (en termes de transférabilité + discrimination), nous appliquons une stratégie d’évaluation simple mais efficace : 1) entraîner les poids du réseau sur deux domaines en utilisant des méthodes standard d’adaptation de domaine ; 2) évoluer les configurations d’attention sous la guidance de leur capacité discriminative sur le domaine cible. Des expériences menées sur diverses benchmarks inter-domaines — notamment Office-31, Office-Home, CUB-Paintings et Duke-Market-1510 — révèlent que EvoADA améliore de manière cohérente plusieurs approches d’adaptation de domaine de pointe, et que les configurations d’attention optimales permettent d’atteindre des performances supérieures.