VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the Wild

Wir präsentieren VoxelTrack für die mehrpersonige 3D-Gesten- und Verfolgungsschätzung aus wenigen Kameras, die durch große Basenlängen voneinander getrennt sind. Der Ansatz verwendet ein mehrästiges Netzwerk, um gleichzeitig 3D-Gesten und Re-Identification (Re-ID)-Merkmale für alle Personen in der Umgebung zu schätzen. Im Gegensatz zu früheren Ansätzen, die eine Kreuzansichts-Zuordnung auf Basis von störungsanfälligen 2D-Gestenschätzungen erfordern, schätzt VoxelTrack direkt 3D-Gesten und verfolgt sie über die Zeit anhand einer 3D-Voxel-basierten Darstellung, die aus mehreren Ansichten konstruiert wird. Zunächst diskretisieren wir den 3D-Raum durch regelmäßige Voxel und berechnen für jedes Voxel einen Merkmalsvektor, indem wir die Körpergelenk-Wärmekarten aus allen Ansichten invers projizieren und deren Mittelwert bilden. Die 3D-Gesten werden aus der Voxel-Darstellung geschätzt, indem für jedes Voxel vorhergesagt wird, ob es ein bestimmtes Körpergelenk enthält. Ebenso wird für jedes Voxel ein Re-ID-Merkmal berechnet, das zur Verfolgung der geschätzten 3D-Gesten über die Zeit verwendet wird. Der Hauptvorteil dieses Ansatzes liegt darin, dass er keine harten Entscheidungen auf Basis einzelner Bilder trifft. Dadurch kann er robust 3D-Gesten schätzen und verfolgen, selbst wenn Personen in einigen Kameras stark verdeckt sind. Auf drei öffentlichen Datensätzen – Shelf, Campus und CMU Panoptic – übertrifft VoxelTrack die derzeit besten Methoden deutlich.