HyperAIHyperAI

Command Palette

Search for a command to run...

Few-Shot-Videosklassifizierung durch zeitliche Ausrichtung

Kaidi Cao; Jingwei Ji; Zhangjie Cao; Chien-Yi Chang; Juan Carlos Niebles

Zusammenfassung

Es gibt ein wachsendes Interesse daran, ein Modell zu trainieren, das in der Lage ist, neue Klassen mit nur wenigen etikettierten Beispielen zu erkennen. In dieser Arbeit schlagen wir das Temporal Alignment Modul (TAM) vor, einen neuen Few-Shot-Lernrahmen, der lernen kann, eine bisher unbekannte Videosequenz zu klassifizieren. Während die meisten bisherigen Arbeiten langfristige zeitliche Ordnungsinformationen vernachlässigen, nutzt unser vorgeschlagenes Modell diese Informationen in Videodaten explizit durch zeitliche Ausrichtung. Dies führt zu einer starken Dateneffizienz im Few-Shot-Lernen. Konkret berechnet TAM den Abstandswert des Abfragevideos zu den Proxies neuer Klassen, indem es die pro Frame gemessenen Abstände entlang seines Ausrichtungspfades durchschnittlich aggregiert. Wir führen eine kontinuierliche Relaxation in TAM ein, sodass das Modell auf end-to-end-Basis direkt zur Optimierung des Few-Shot-Lernziels gelernt werden kann. Wir evaluieren TAM anhand zweier anspruchsvoller realweltlicher Datensätze, Kinetics und Something-Something-V2, und zeigen, dass unser Modell bei der Few-Shot-Videoklassifikation im Vergleich zu einer Vielzahl von wettbewerbsfähigen Baselines erhebliche Verbesserungen erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Few-Shot-Videosklassifizierung durch zeitliche Ausrichtung | Paper | HyperAI