HyperAIHyperAI

Command Palette

Search for a command to run...

Hochheben monokularer Ereignisse zu 3D-Menschenpose

Gianluca Scarpellini Pietro Morerio Alessio Del Bue

Zusammenfassung

Diese Arbeit präsentiert einen neuartigen Ansatz zur 3D-Menschenpose-Schätzung, der als Eingabedaten eine einzelne, asynchrone Ereignisströmung verwendet. Die meisten aktuellen Methoden lösen diese Aufgabe mit RGB-Kameras, stoßen jedoch bei schnellen Bewegungen der Probanden auf Schwierigkeiten. Im Gegensatz dazu profitieren ereignisbasierte Ansätze zur 3D-Pose-Schätzung von den Vorteilen von Ereigniskameras, insbesondere von deren Effizienz und Robustheit gegenüber Änderungen der Bildtextur. Dennoch ist die Erkennung von menschlichen Posen in asynchronen Ereignissen grundsätzlich herausfordernder als die klassische RGB-basierte Pose-Schätzung, da in statischen Szenen nur wenige oder gar keine Ereignisse ausgelöst werden. In diesem Beitrag stellen wir die erste lernbasierte Methode zur 3D-Pose-Schätzung aus einer einzigen Ereignisströmung vor. Unser Ansatz besteht aus zwei Schritten: Zunächst verarbeiten wir die Ereignisstrom-Daten, um für jede Gelenkposition drei orthogonale Heatmaps zu schätzen; jede Heatmap entspricht der Projektion des Gelenks auf eine der drei orthogonalen Ebenen. Anschließend fassen wir die jeweiligen Heatmap-Sets zusammen, um die 3D-Position der Körpergelenke zu schätzen. Als weiteren Beitrag stellen wir ein neues, anspruchsvolles Datenset für ereignisbasierte Menschenpose-Schätzung bereit, das durch Simulation von Ereignissen aus dem RGB-Datensatz Human3.6m generiert wurde. Experimente zeigen, dass unsere Methode eine solide Genauigkeit erzielt und die Leistungsunterschiede zwischen herkömmlicher RGB- und ereignisbasierter Vision signifikant verringert. Der Quellcode ist frei verfügbar unter https://iit-pavis.github.io/lifting_events_to_3d_hpe.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp