Command Palette
Search for a command to run...
Quo Vadis, Skeleton Action Recognition?
Quo Vadis, Skeleton Action Recognition?
Pranay Gupta Anirudh Thatipelli Aditya Aggarwal Shubh Maheshwari Neel Trivedi Sourav Das Ravi Kiran Sarvadevabhatla
Zusammenfassung
In diesem Paper untersuchen wir aktuelle und zukünftige Forschungsgrenzen im Bereich der menschlichen Aktionserkennung auf Basis von Skelettdaten. Um die Erkennung von Skelettklasse-Aktionen in natürlicher Umgebung (in the wild) zu untersuchen, führen wir Skeletics-152 ein, eine sorgfältig ausgewählte und mit 3D-Gelenkpositionen annotierte Teilmenge von RGB-Videos aus dem Kinetics-700-Datensatz, einem großen Datensatz für menschliche Aktionen. Wir erweitern unsere Untersuchung um Aktionen außerhalb ihres Kontextes, indem wir Skeleton-Mimetics vorstellen, einen Datensatz, der aus dem kürzlich vorgestellten Mimetics-Datensatz abgeleitet wurde. Zudem führen wir Metaphorics ein, einen Datensatz mit beschreibungsbasiert annotierten YouTube-Videos von populären sozialen Spielen wie Dumb Charades sowie interpretativen Tanzperformances. Wir benchmarken state-of-the-art-Modelle auf dem NTU-120-Datensatz und liefern eine mehrschichtige Bewertung der Ergebnisse. Die Benchmark-Ergebnisse der führenden Modelle von NTU-120 auf den neu eingeführten Datensätzen offenbaren die Herausforderungen und den Domänen-Abstand, die durch Aktionen in natürlicher Umgebung verursacht werden. Insgesamt charakterisiert unsere Arbeit die Stärken und Grenzen bestehender Ansätze und Datensätze. Durch die vorgestellten Datensätze ermöglicht unsere Arbeit neue Forschungsgrenzen für die menschliche Aktionserkennung.