VoxelPose: Hin zu der 3D-Menschenpose-Schätzung mit mehreren Kameras in wilden Umgebungen

Wir präsentieren einen Ansatz zur Schätzung von 3D-Posen mehrerer Personen aus mehreren Kamerasichtweisen. Im Gegensatz zu früheren Ansätzen, die eine Kreuzsicht-Entsprechung basierend auf verrauschten und unvollständigen 2D-Pose-Schätzungen erfordern, bieten wir eine end-to-end-Lösung, die direkt im 3D-Raum operiert und somit fehlerhafte Entscheidungen im 2D-Raum vermeidet. Um dieses Ziel zu erreichen, werden die Merkmale aus allen Kamerasichten in einen gemeinsamen 3D-Raum transformiert und aggregiert und anschließend in das Cuboid Proposal Network (CPN) eingespeist, um alle Personen grob zu lokalisieren. Anschließend stellen wir das Pose Regression Network (PRN) vor, das eine detaillierte 3D-Pose für jede Vorschlagspose schätzt. Unser Ansatz ist robust gegenüber Verdeckung, die in der Praxis häufig auftritt. Ohne zusätzliche Komplexitäten erreicht er eine bessere Leistung als die derzeitigen State-of-the-Art-Methoden auf öffentlichen Datensätzen. Der Quellcode wird unter https://github.com/microsoft/multiperson-pose-estimation-pytorch veröffentlicht.