Win-Fail-Aktionserkennung

Aktuelle Systeme zur Video- und Aktionserkennung haben beeindruckende Leistungen bei großen Erkennungsaufgaben gezeigt. Dennoch beschränken sie sich möglicherweise darauf, räumlich-zeitliche Muster zu erkennen, anstatt eine umfassende Verständnis der Aktionen zu erlangen. Um Fortschritte in Richtung eines echteren, tieferen Verständnisses von Videos zu fördern, führen wir die Aufgabe der Win-Fail-Aktionserkennung ein – die Unterscheidung zwischen gelungenen und gescheiterten Versuchen verschiedener Aktivitäten. Wir stellen erstmals ein Paar-datenbasiertes Dataset für die Win-Fail-Aktionserkennung vor, das Beispiele aus folgenden Domänen enthält: „Allgemeine Stunts“, „Internet Wins-Fails“, „Trick Shots“ und „Party-Spiele“. Im Gegensatz zu bestehenden Aktionserkennungsdatasets weist dieses Dataset eine hohe intra-klassische Variabilität auf, was die Aufgabe herausfordernd, aber dennoch lösbar macht. Wir analysieren systematisch die Eigenschaften der Win-Fail-Aufgabe/Dataset mit prototypischen Aktionserkennungsnetzwerken und einer neuartigen Video-Abfrageaufgabe. Obwohl aktuelle Aktionserkennungsmethoden auf unserer Aufgabe/Dataset gut abschneiden, bleibt ein erheblicher Leistungsgap bestehen, um hohe Performance zu erreichen. Wir hoffen, damit weitere Forschungsarbeiten zur echten Verständnis von Aktionen/Videos zu motivieren. Das Dataset wird unter https://github.com/ParitoshParmar/Win-Fail-Action-Recognition verfügbar sein.