Erkennung menschlicher Aktionen als Evolution von Pose-Schätzungskarten

Die meisten Ansätze zur handlungsbezogenen Erkennung basierend auf Videos extrahieren Merkmale aus dem gesamten Video, um Aktionen zu erkennen. Die Leistung dieser Methoden wird jedoch durch störende Hintergründe und nicht-relevante Bewegungen beeinträchtigt, da sie keine explizite Modellierung menschlicher Körperbewegungen beinhalten. Mit den jüngsten Fortschritten in der Schätzung menschlicher Pose präsentiert diese Arbeit eine neuartige Methode zur Erkennung menschlicher Aktionen als zeitliche Entwicklung von Pose-Schätzungs-Karten. Anstatt sich auf die oft ungenauen von Videos geschätzten Körperpose zu verlassen, beobachten wir, dass Pose-Schätzungs-Karten – als Nebenprodukt der Pose-Schätzung – reichhaltigere Hinweise auf den menschlichen Körper liefern und somit der Aktionserkennung zugutekommen. Konkret lässt sich die zeitliche Entwicklung der Pose-Schätzungs-Karten als Entwicklung von Heatmaps (z. B. Wahrscheinlichkeitskarten) und als Entwicklung der geschätzten 2D-Körperpose zerlegen, die jeweils die Veränderungen der Körperform und der Körperhaltung repräsentieren. Berücksichtigend die spärliche Struktur der Heatmaps entwickeln wir ein räumliches Rank-Pooling, um die Entwicklung der Heatmaps zu einer Bildrepräsentation der Körperform-Evolution zu aggregieren. Da das Bild der Körperform-Evolution keine Unterscheidung zwischen Körperpartien ermöglicht, entwerfen wir eine körpereinleitende Abtastung (body guided sampling), um die Entwicklung der Pose zu einem Bild der Pose-Evolution zu aggregieren. Die ergänzenden Eigenschaften beider Bildtypen werden durch tiefes konvolutionelles neuronales Netzwerk analysiert, um die Aktionsetikettierung vorzunehmen. Experimente an den Datensätzen NTU RGB+D, UTD-MHAD und PennAction bestätigen die Wirksamkeit unserer Methode, die die Leistung der meisten aktuellen State-of-the-Art-Verfahren übertrifft.