Was ist im Fluss? Nutzung zeitlicher Bewegungshinweise für die unüberwachte generische Ereignisgrenzerkennung

Die Aufgabe der generischen Ereignisgrenzerkennung (GEBD) besteht darin, generische, taxonomiefreie Grenzen zu erkennen, die ein Video in sinnvolle Ereignisse segmentieren. Aktuelle Methoden beinhalten in der Regel ein neuronales Modell, das auf einem großen Datenvolumen trainiert wird und erhebliche Rechenleistung sowie Speicherplatz erfordert. Wir untersuchen zwei zentrale Fragen im Zusammenhang mit GEBD: Können parameterfreie Algorithmen überwachungslose neuronale Methoden übertreffen? Ist Bewegungsinformation allein ausreichend für eine hohe Leistung? Diese Fragestellungen führen uns dazu, bewegungsbezogene Hinweise algorithmisch zu nutzen, um generische Ereignisgrenzen in Videos zu identifizieren. In dieser Arbeit schlagen wir FlowGEBD vor, eine parameterfreie, überwachungsfreie Technik für GEBD. Unser Ansatz umfasst zwei Algorithmen, die optischen Fluss nutzen: (i) Pixelverfolgung und (ii) Flussnormalisierung. Durch umfassende Experimente auf den anspruchsvollen Kinetics-GEBD- und TAPOS-Datensätzen legen unsere Ergebnisse FlowGEBD als neuen Stand der Technik (SOTA) unter den überwachungsfreien Methoden fest. FlowGEBD übertreffen die neuronalen Modelle auf dem Kinetics-GEBD-Datensatz durch einen [email protected] von 0.713, was einem absoluten Gewinn von 31.7 % gegenüber der überwachungsfreien Baseline entspricht, und erreicht einen durchschnittlichen F1-Wert von 0.623 auf dem TAPOS-Validierungsdatensatz.