HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstüberwachtes Co-Training für das Lernen von Video-Darstellungen

Tengda Han Weidi Xie Andrew Zisserman

Zusammenfassung

Das Ziel dieser Arbeit ist die visuelle Selbstüberwachung des Lernens von Video-Darstellungen. Wir leisten folgende Beiträge: (i) Wir untersuchen den Nutzen der Hinzufügung semantisch-klassifizierter Positivbeispiele zum instanzbasierten Informations-Noise Contrastive Estimation (InfoNCE)-Training und zeigen, dass diese Form der überwachten kontrastiven Lernmethode zu einer deutlichen Leistungssteigerung führt; (ii) Wir schlagen ein neues selbstüberwachtes Co-Training-Schema vor, um den gängigen InfoNCE-Verlust zu verbessern. Dabei nutzen wir die komplementären Informationen aus verschiedenen Ansichten, RGB-Streams und optischem Fluss, derselben Datenquelle, indem wir eine Ansicht verwenden, um positiv klassifizierte Stichproben für die andere zu erhalten; (iii) Wir bewerten die Qualität der gelernten Darstellung gründlich anhand zweier unterschiedlicher Downstream-Aufgaben: Aktionserkennung und Videoretrieval. In beiden Fällen zeigt der vorgeschlagene Ansatz entweder einen Stand-of-the-Art-Leistungsniveau oder vergleichbare Ergebnisse mit anderen selbstüberwachten Ansätzen, während er gleichzeitig erheblich effizienter zu trainieren ist, d.h. viel weniger Trainingsdaten sind erforderlich, um ähnliche Leistungen zu erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp