Pose- und Gelenkbehaftete Aktionserkennung

Die jüngsten Fortschritte im Bereich der Aktionserkennung konzentrieren sich hauptsächlich auf RGB- und Optische-Fluss-Features. In diesem Paper behandeln wir das Problem der aktionsbasierten Erkennung auf der Grundlage von Gelenkinformationen. Im Gegensatz zu anderen Modalitäten erzeugen die Konstellation der Gelenke und deren Bewegung modellhafte, kompakte Darstellungen menschlicher Bewegung, die für die Aktionserkennung besonders informativ sind. Wir stellen ein neues Modell für gelenkbasierte Aktionserkennung vor, das zunächst motionbasierte Merkmale jedes einzelnen Gelenks getrennt mittels eines gemeinsamen Motion-Encoders extrahiert, bevor kollektive Schlussfolgerungen gezogen werden. Unser Gelenk-Auswahlmodul re-weightet die Gelenkinformationen, um die aussagekräftigsten Gelenke für die jeweilige Aufgabe auszuwählen. Außerdem führen wir eine neuartige Gelenk-kontrastive Verlustfunktion ein, die Gruppen von Gelenkmerkmalen zusammenzieht, die dieselbe Aktion repräsentieren. Wir stärken die gelenkbasierten Darstellungen durch eine geometriebewusste Daten-Augmentierungstechnik, die die Pose-Heatmaps leicht stört, dabei aber die Dynamik der Bewegung beibehält. Wir zeigen erhebliche Verbesserungen gegenüber den derzeitigen Stand der Technik bei gelenkbasierter Erkennung auf den Datensätzen JHMDB, HMDB, Charades und AVA. Eine späte Fusion mit RGB- und Flussbasierten Ansätzen führt zu zusätzlichen Verbesserungen. Unser Modell erreicht zudem eine bessere Leistung als die bestehenden Baselines auf Mimetics, einem Datensatz mit außer Kontext stehenden Aktionen.