Transfert Sélectif avec Réseau de Transfert Renforcé pour l'Adaptation de Domaine Partielle

Un aspect crucial de l'adaptation de domaine partielle (PDA) est la façon dont on sélectionne les échantillons sources pertinents dans les classes partagées pour le transfert de connaissances. Les méthodes PDA précédentes abordent ce problème en réattribuant des poids aux échantillons sources en fonction de leurs informations de haut niveau (caractéristiques profondes). Cependant, en raison du décalage de domaine entre les domaines source et cible, l'utilisation exclusive des caractéristiques profondes pour la sélection d'échantillons présente des lacunes. Nous soutenons qu'il est plus raisonnable d'exploiter également les informations au niveau des pixels pour le problème PDA, étant donné que la différence d'apparence entre les classes sources aberrantes et les classes cibles est considérablement importante. Dans cet article, nous proposons un réseau de transfert renforcé (RTNet), qui utilise à la fois des informations de haut niveau et au niveau des pixels pour le problème PDA. Notre RTNet se compose d'un sélecteur de données renforcé (RDS) basé sur l'apprentissage par renforcement (RL), qui filtre les échantillons sources aberrants, et d'un modèle d'adaptation de domaine qui minimise le décalage de domaine dans l'espace étiqueté partagé. Plus précisément, dans le RDS, nous concevons une nouvelle récompense basée sur les erreurs de reconstruction des échantillons sources sélectionnés par le générateur cible, ce qui introduit des informations au niveau des pixels pour guider l'apprentissage du RDS. De plus, nous développons un état contenant des informations de haut niveau, utilisé par le RDS pour la sélection d'échantillons. Le RDS proposé est un module général qui peut être facilement intégré aux modèles DA existants afin de les adapter à la situation PDA. Des expériences approfondies indiquent que RTNet peut atteindre des performances à l'état de l'art pour les tâches PDA sur plusieurs jeux de données de référence.