HyperAIHyperAI

Command Palette

Search for a command to run...

Contraste et Mélange : Adaptation de Domaine Vidéo Contrastive Temporelle avec Mélange de Fond

Aadarsh Sahoo Rutav Shah Rameswar Panda Kate Saenko Abir Das

Résumé

L'adaptation non supervisée de domaine, qui vise à adapter des modèles formés sur un domaine source étiqueté à un domaine cible complètement non étiqueté, a suscité beaucoup d'intérêt ces dernières années. Bien que de nombreuses techniques d'adaptation de domaine aient été proposées pour les images, le problème de l'adaptation non supervisée de domaine dans les vidéos reste largement sous-exploité. Dans cet article, nous présentons Contrast and Mix (CoMix), un nouveau cadre d'apprentissage par contraste visant à apprendre des représentations de caractéristiques invariantes et discriminantes pour l'adaptation non supervisée de domaine vidéo. Premièrement, contrairement aux méthodes existantes qui s'appuient sur l'apprentissage antagoniste pour aligner les caractéristiques, nous utilisons l'apprentissage par contraste temporel pour combler le fossé entre les domaines en maximisant la similarité entre les représentations encodées d'une vidéo non étiquetée à deux vitesses différentes tout en minimisant la similarité entre des vidéos différentes jouées à des vitesses différentes.Deuxièmement, nous proposons une nouvelle extension de la perte de contraste temporelle en utilisant le mélange du fond, ce qui permet d'avoir des positifs supplémentaires par ancre, adaptant ainsi l'apprentissage par contraste pour tirer parti des sémantiques d'action partagées entre les deux domaines.En outre, nous intégrons également un objectif d'apprentissage par contraste supervisé en utilisant des pseudo-étiquettes cibles pour améliorer la discriminabilité de l'espace latent dans le cadre de l'adaptation de domaine vidéo.Des expériences approfondies sur plusieurs jeux de données de référence démontrent la supériorité de notre approche proposée par rapport aux méthodes les plus avancées actuellement disponibles. Page du projet : https://cvir.github.io/projects/comix


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp