HyperAIHyperAI

Command Palette

Search for a command to run...

Temporale Zyklus-Konsistenz-Lernen

Debidatta Dwibedi Yusuf Aytar Jonathan Tompson Pierre Sermanet Andrew Zisserman

Zusammenfassung

Wir stellen eine Methode des selbstüberwachten Repräsentationslernens vor, die auf der Aufgabe der zeitlichen Ausrichtung zwischen Videos basiert. Die Methode trainiert ein Netzwerk unter Verwendung der zeitlichen Zyklus-Konsistenz (TCC), einem differenzierbaren Konsistenzverlust, der verwendet werden kann, um Korrespondenzen über die Zeit hinweg in mehreren Videos zu finden. Die resultierenden pro-Frames Einbettungen können verwendet werden, um Videos durch einfaches Zuordnen von Frames mithilfe der nächsten Nachbarn im gelernten Einbettungsraum auszurichten.Um die Leistungsfähigkeit der Einbettungen zu bewerten, haben wir die Video-Datensätze "Pouring" und "Penn Action" dicht mit Aktionphasen beschriftet. Wir zeigen, dass (i) die gelernten Einbettungen eine Few-Shot-Klassifikation dieser Aktionphasen ermöglichen und die Anforderungen an überwachtes Training erheblich reduzieren; und (ii) TCC ergänzend zu anderen Methoden des selbstüberwachten Lernens in Videos ist, wie zum Beispiel "Shuffle and Learn" und "Time-Contrastive Networks". Die Einbettungen werden auch für eine Reihe von Anwendungen verwendet, die auf der Ausrichtung (dichte zeitliche Korrespondenz) zwischen Videopärchen basieren, darunter die Übertragung von Metadaten synchronisierter Modalitäten zwischen Videos (Klänge, zeitliche semantische Beschriftungen), die synchronisierte Wiedergabe mehrerer Videos und Anomalieerkennung. Projektwebseite: https://sites.google.com/view/temporal-cycle-consistency .


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp