Gangerkennung in der Wildnis mit dichten 3D-Darstellungen und einem Benchmark

Bestehende Studien zur Ganganalyse sind vor allem durch 2D-Darstellungen wie die Silhouette oder das Skelett des menschlichen Körpers in eingeschränkten Szenen geprägt. Allerdings bewegen sich Menschen im unbeschränkten 3D-Raum, sodass die Projektion des 3D-Körpers auf eine 2D-Ebene wichtige Informationen wie den Betrachterwinkel, die Form und die Dynamik für die Ganganalyse verliert. Daher zielt dieser Artikel darauf ab, dichte 3D-Darstellungen für die Ganganalyse in natürlichen Umgebungen zu erforschen, was ein praktisches, aber vernachlässigtes Problem darstellt. Insbesondere schlagen wir einen neuen Ansatz vor, um das 3D Skinned Multi-Person Linear (SMPL)-Modell des menschlichen Körpers für die Ganganalyse zu nutzen, den wir SMPLGait nennen. Unser Framework besteht aus zwei sorgfältig konzipierten Zweigen, von denen der eine Erscheinungsmerkmale aus Silhouetten extrahiert und der andere Wissen über 3D-Betrachterwinkel und -Formen aus dem 3D-SMPL-Modell lernt. Zudem haben wir aufgrund des Mangels an geeigneten Datensätzen den ersten groß angelegten Datensatz für die Ganganalyse basierend auf 3D-Darstellungen erstellt, den wir Gait3D nennen. Er enthält 4.000 Probanden und über 25.000 Sequenzen, die aus 39 Kameras in einer unbeschränkten Innenraumszene extrahiert wurden. Von besonderer Bedeutung ist, dass er 3D-SMPL-Modelle bereitstellt, die aus Videobildern rekonstruiert wurden und dichte 3D-Informationen über Körperform, Betrachterwinkel und Dynamik liefern können. Basierend auf Gait3D vergleichen wir unser Verfahren umfassend mit bestehenden Ansätzen zur Ganganalyse, was die Überlegenheit unseres Frameworks sowie das Potenzial von 3D-Darstellungen für die Ganganalyse in natürlichen Umgebungen zeigt. Der Code und der Datensatz sind unter https://gait3d.github.io verfügbar.