Selbstüberwachtes Co-Training für das Lernen von Video-Darstellungen

Das Ziel dieser Arbeit ist die visuelle Selbstüberwachung des Lernens von Video-Darstellungen. Wir leisten folgende Beiträge: (i) Wir untersuchen den Nutzen der Hinzufügung semantisch-klassifizierter Positivbeispiele zum instanzbasierten Informations-Noise Contrastive Estimation (InfoNCE)-Training und zeigen, dass diese Form der überwachten kontrastiven Lernmethode zu einer deutlichen Leistungssteigerung führt; (ii) Wir schlagen ein neues selbstüberwachtes Co-Training-Schema vor, um den gängigen InfoNCE-Verlust zu verbessern. Dabei nutzen wir die komplementären Informationen aus verschiedenen Ansichten, RGB-Streams und optischem Fluss, derselben Datenquelle, indem wir eine Ansicht verwenden, um positiv klassifizierte Stichproben für die andere zu erhalten; (iii) Wir bewerten die Qualität der gelernten Darstellung gründlich anhand zweier unterschiedlicher Downstream-Aufgaben: Aktionserkennung und Videoretrieval. In beiden Fällen zeigt der vorgeschlagene Ansatz entweder einen Stand-of-the-Art-Leistungsniveau oder vergleichbare Ergebnisse mit anderen selbstüberwachten Ansätzen, während er gleichzeitig erheblich effizienter zu trainieren ist, d.h. viel weniger Trainingsdaten sind erforderlich, um ähnliche Leistungen zu erzielen.