HyperAIHyperAI
vor 17 Tagen

Hochheben monokularer Ereignisse zu 3D-Menschenpose

Gianluca Scarpellini, Pietro Morerio, Alessio Del Bue
Hochheben monokularer Ereignisse zu 3D-Menschenpose
Abstract

Diese Arbeit präsentiert einen neuartigen Ansatz zur 3D-Menschenpose-Schätzung, der als Eingabedaten eine einzelne, asynchrone Ereignisströmung verwendet. Die meisten aktuellen Methoden lösen diese Aufgabe mit RGB-Kameras, stoßen jedoch bei schnellen Bewegungen der Probanden auf Schwierigkeiten. Im Gegensatz dazu profitieren ereignisbasierte Ansätze zur 3D-Pose-Schätzung von den Vorteilen von Ereigniskameras, insbesondere von deren Effizienz und Robustheit gegenüber Änderungen der Bildtextur. Dennoch ist die Erkennung von menschlichen Posen in asynchronen Ereignissen grundsätzlich herausfordernder als die klassische RGB-basierte Pose-Schätzung, da in statischen Szenen nur wenige oder gar keine Ereignisse ausgelöst werden. In diesem Beitrag stellen wir die erste lernbasierte Methode zur 3D-Pose-Schätzung aus einer einzigen Ereignisströmung vor. Unser Ansatz besteht aus zwei Schritten: Zunächst verarbeiten wir die Ereignisstrom-Daten, um für jede Gelenkposition drei orthogonale Heatmaps zu schätzen; jede Heatmap entspricht der Projektion des Gelenks auf eine der drei orthogonalen Ebenen. Anschließend fassen wir die jeweiligen Heatmap-Sets zusammen, um die 3D-Position der Körpergelenke zu schätzen. Als weiteren Beitrag stellen wir ein neues, anspruchsvolles Datenset für ereignisbasierte Menschenpose-Schätzung bereit, das durch Simulation von Ereignissen aus dem RGB-Datensatz Human3.6m generiert wurde. Experimente zeigen, dass unsere Methode eine solide Genauigkeit erzielt und die Leistungsunterschiede zwischen herkömmlicher RGB- und ereignisbasierter Vision signifikant verringert. Der Quellcode ist frei verfügbar unter https://iit-pavis.github.io/lifting_events_to_3d_hpe.

Hochheben monokularer Ereignisse zu 3D-Menschenpose | Neueste Forschungsarbeiten | HyperAI