Contraste et Mélange : Adaptation de Domaine Vidéo Contrastive Temporelle avec Mélange de Fond

L'adaptation non supervisée de domaine, qui vise à adapter des modèles formés sur un domaine source étiqueté à un domaine cible complètement non étiqueté, a suscité beaucoup d'intérêt ces dernières années. Bien que de nombreuses techniques d'adaptation de domaine aient été proposées pour les images, le problème de l'adaptation non supervisée de domaine dans les vidéos reste largement sous-exploité. Dans cet article, nous présentons Contrast and Mix (CoMix), un nouveau cadre d'apprentissage par contraste visant à apprendre des représentations de caractéristiques invariantes et discriminantes pour l'adaptation non supervisée de domaine vidéo. Premièrement, contrairement aux méthodes existantes qui s'appuient sur l'apprentissage antagoniste pour aligner les caractéristiques, nous utilisons l'apprentissage par contraste temporel pour combler le fossé entre les domaines en maximisant la similarité entre les représentations encodées d'une vidéo non étiquetée à deux vitesses différentes tout en minimisant la similarité entre des vidéos différentes jouées à des vitesses différentes.Deuxièmement, nous proposons une nouvelle extension de la perte de contraste temporelle en utilisant le mélange du fond, ce qui permet d'avoir des positifs supplémentaires par ancre, adaptant ainsi l'apprentissage par contraste pour tirer parti des sémantiques d'action partagées entre les deux domaines.En outre, nous intégrons également un objectif d'apprentissage par contraste supervisé en utilisant des pseudo-étiquettes cibles pour améliorer la discriminabilité de l'espace latent dans le cadre de l'adaptation de domaine vidéo.Des expériences approfondies sur plusieurs jeux de données de référence démontrent la supériorité de notre approche proposée par rapport aux méthodes les plus avancées actuellement disponibles. Page du projet : https://cvir.github.io/projects/comix