Alignement Temporel Attentif pour l'Adaptation de Domaine Vidéo à Grande Échelle

Bien que diverses techniques d'adaptation de domaine (DA) basées sur les images aient été proposées ces dernières années, le décalage de domaine dans les vidéos reste encore peu exploré. La plupart des travaux précédents n'évaluent les performances que sur des ensembles de données de petite échelle qui sont saturés. Par conséquent, nous proposons d'abord deux grands ensembles de données d'adaptation de domaine vidéo présentant un décalage de domaine beaucoup plus important : UCF-HMDB_full et Kinetics-Gameplay. Ensuite, nous examinons différentes méthodes d'intégration d'adaptation de domaine pour les vidéos et montrons que l'alignement simultané et l'apprentissage des dynamiques temporelles permettent une alignment efficace même sans méthodes d'adaptation de domaine sophistiquées. Enfin, nous proposons le réseau Temporal Attentive Adversarial Adaptation (TA3N), qui attache explicitement une attention aux dynamiques temporelles en utilisant le décalage de domaine pour une alignment de domaine plus efficace, atteignant des performances de pointe sur quatre ensembles de données d'adaptation de domaine vidéo (par exemple, un gain de précision de 7,9 % par rapport à « Source seule » passant de 73,9 % à 81,8 % sur « HMDB --> UCF », et un gain de 10,3 % sur « Kinetics --> Gameplay »). Le code et les données sont disponibles à l'adresse http://github.com/cmhungsteve/TA3N.