Kontrast und Mischung: Zeitliche kontrastbasierte Video-Domänenanpassung mit Hintergrundmischung

Die unsupervisierte Domänenanpassung (Domain Adaptation), die darauf abzielt, Modelle, die auf einer etikettierten Quelldomäne trainiert wurden, an eine vollständig unetikettierte Zieldomäne anzupassen, hat in den letzten Jahren viel Aufmerksamkeit erhalten. Obwohl zahlreiche Domänenanpassungstechniken für Bilder vorgeschlagen wurden, bleibt das Problem der unsupervisierten Domänenanpassung in Videos weitgehend unerforscht. In dieser Arbeit stellen wir Contrast and Mix (CoMix) vor, einen neuen Kontrastlernrahmen (contrastive learning framework), der darauf abzielt, diskriminative invariante Merkmalsrepräsentationen für die unsupervisierte Video-Domänenanpassung zu lernen. Erstens nutzen wir im Gegensatz zu existierenden Methoden, die auf adversarialem Lernen basieren, um Merkmale auszurichten, temporales Kontrastlernen (temporal contrastive learning), um die Domänenlücke zu überbrücken. Dies geschieht durch die Maximierung der Ähnlichkeit zwischen kodierten Repräsentationen eines unetikettierten Videos bei zwei verschiedenen Geschwindigkeiten und gleichzeitig durch die Minimierung der Ähnlichkeit zwischen unterschiedlichen Videos bei unterschiedlichen Geschwindigkeiten. Zweitens schlagen wir eine neuartige Erweiterung des temporalen Kontrastverlustes (temporal contrastive loss) vor, indem wir Hintergrundmischung (background mixing) verwenden. Dies ermöglicht es, zusätzliche positive Beispiele pro Anker zu generieren und passt das Kontrastlernen so an, dass es Aktionssemantik nutzt, die in beiden Domänen gemeinsam ist. Darüber hinaus integrieren wir auch ein supervisiertes Kontrastlernziel unter Verwendung von Pseudobeschriftungen des Ziels, um die Diskriminierbarkeit des latenten Raums für die Video-Domänenanpassung zu verbessern. Ausführliche Experimente auf mehreren Benchmark-Datensätzen zeigen die Überlegenheit unseres vorgeschlagenen Ansatzes gegenüber den besten bisher bekannten Methoden. Projektseite: https://cvir.github.io/projects/comix