Uüberwachtes Lernen von Aktionen mit kontinuierlicher zeitlicher Einbettung

Die Aufgabe der zeitlichen Erkennung und Segmentierung von Aktionen in ungeschnittenen Videos hat in letzter Zeit vermehrte Aufmerksamkeit erfahren. Ein Problem in diesem Zusammenhang ergibt sich aus der Notwendigkeit, Aktionsschranken zu definieren und zu beschriften, um Annotationen für das Training zu erstellen, was sehr zeitaufwendig und kostspielig ist. Um dieses Problem anzugehen, schlagen wir einen überwachungslosen Ansatz vor, mit dem Aktionklassen aus ungeschnittenen Videosequenzen gelernt werden können. Dazu nutzen wir eine kontinuierliche zeitliche Einbettung rahmengerechter Merkmale, um von der sequentiellen Natur der Aktivitäten zu profitieren. Basierend auf dem durch die Einbettung geschaffenen latente Raum identifizieren wir Clustern von zeitlichen Segmenten über alle Videos hinweg, die semantisch sinnvolle Aktionklassen entsprechen. Der Ansatz wird anhand dreier anspruchsvoller Datensätze evaluiert: dem Breakfast-Datensatz, den YouTube-Anleitungen und dem 50Salads-Datensatz. Während frühere Arbeiten davon ausgegangen sind, dass die Videos die gleiche hochrangige Aktivität enthalten, zeigen wir zudem, dass der vorgeschlagene Ansatz auch auf eine allgemeinere Einstellung angewendet werden kann, bei der der Inhalt der Videos unbekannt ist.