Temporale Zyklus-Konsistenz-Lernen

Wir stellen eine Methode des selbstüberwachten Repräsentationslernens vor, die auf der Aufgabe der zeitlichen Ausrichtung zwischen Videos basiert. Die Methode trainiert ein Netzwerk unter Verwendung der zeitlichen Zyklus-Konsistenz (TCC), einem differenzierbaren Konsistenzverlust, der verwendet werden kann, um Korrespondenzen über die Zeit hinweg in mehreren Videos zu finden. Die resultierenden pro-Frames Einbettungen können verwendet werden, um Videos durch einfaches Zuordnen von Frames mithilfe der nächsten Nachbarn im gelernten Einbettungsraum auszurichten.Um die Leistungsfähigkeit der Einbettungen zu bewerten, haben wir die Video-Datensätze "Pouring" und "Penn Action" dicht mit Aktionphasen beschriftet. Wir zeigen, dass (i) die gelernten Einbettungen eine Few-Shot-Klassifikation dieser Aktionphasen ermöglichen und die Anforderungen an überwachtes Training erheblich reduzieren; und (ii) TCC ergänzend zu anderen Methoden des selbstüberwachten Lernens in Videos ist, wie zum Beispiel "Shuffle and Learn" und "Time-Contrastive Networks". Die Einbettungen werden auch für eine Reihe von Anwendungen verwendet, die auf der Ausrichtung (dichte zeitliche Korrespondenz) zwischen Videopärchen basieren, darunter die Übertragung von Metadaten synchronisierter Modalitäten zwischen Videos (Klänge, zeitliche semantische Beschriftungen), die synchronisierte Wiedergabe mehrerer Videos und Anomalieerkennung. Projektwebseite: https://sites.google.com/view/temporal-cycle-consistency .