HyperAIHyperAI

Command Palette

Search for a command to run...

Uüberwachtes Lernen von Aktionen mit kontinuierlicher zeitlicher Einbettung

Anna Kukleva Hilde Kuehne Fadime Sener Juergen Gall

Zusammenfassung

Die Aufgabe der zeitlichen Erkennung und Segmentierung von Aktionen in ungeschnittenen Videos hat in letzter Zeit vermehrte Aufmerksamkeit erfahren. Ein Problem in diesem Zusammenhang ergibt sich aus der Notwendigkeit, Aktionsschranken zu definieren und zu beschriften, um Annotationen für das Training zu erstellen, was sehr zeitaufwendig und kostspielig ist. Um dieses Problem anzugehen, schlagen wir einen überwachungslosen Ansatz vor, mit dem Aktionklassen aus ungeschnittenen Videosequenzen gelernt werden können. Dazu nutzen wir eine kontinuierliche zeitliche Einbettung rahmengerechter Merkmale, um von der sequentiellen Natur der Aktivitäten zu profitieren. Basierend auf dem durch die Einbettung geschaffenen latente Raum identifizieren wir Clustern von zeitlichen Segmenten über alle Videos hinweg, die semantisch sinnvolle Aktionklassen entsprechen. Der Ansatz wird anhand dreier anspruchsvoller Datensätze evaluiert: dem Breakfast-Datensatz, den YouTube-Anleitungen und dem 50Salads-Datensatz. Während frühere Arbeiten davon ausgegangen sind, dass die Videos die gleiche hochrangige Aktivität enthalten, zeigen wir zudem, dass der vorgeschlagene Ansatz auch auf eine allgemeinere Einstellung angewendet werden kann, bei der der Inhalt der Videos unbekannt ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Uüberwachtes Lernen von Aktionen mit kontinuierlicher zeitlicher Einbettung | Paper | HyperAI