H3WB: Human3.6M 3D WholeBody Datensatz und Benchmark

Wir präsentieren eine Referenz für die 3D-Vollkörper-Pose-Schätzung, die das Identifizieren präziser 3D-Landmarken am gesamten menschlichen Körper umfasst, einschließlich Gesicht, Hände, Körper und Füße. Derzeit führt der Mangel an einer vollständig annotierten und genauen 3D-Vollkörper-Datensatz dazu, dass tiefgreifende Netzwerke getrennt auf spezifische Körperteile trainiert werden, die dann während der Inferenz kombiniert werden. Oder sie basieren auf Pseudo-Grundwahrheit, die durch parametrische Körpermuster bereitgestellt wird, welche nicht so genau sind wie detektionsbasierte Methoden. Um diese Probleme zu überwinden, stellen wir den Human3.6M 3D Vollkörper (H3WB)-Datensatz vor, der ganze Körpermittdaten für den Human3.6M-Datensatz unter Verwendung des COCO-Vollkörper-Layouts bereitstellt. H3WB umfasst 133 whole-body Keypoint-Annotierungen auf 100.000 Bildern, was durch unseren neuen Multiview-Pipeline möglich gemacht wurde. Wir schlagen außerdem drei Aufgaben vor: i) das Heben der 3D-Vollkörper-Pose aus einer vollständigen 2D-Vollkörper-Pose, ii) das Heben der 3D-Vollkörper-Pose aus einer unvollständigen 2D-Vollkörper-Pose und iii) die Schätzung der 3D-Vollkörper-Pose aus einem einzelnen RGB-Bild. Zudem berichten wir über mehrere Baselines von gängigen Methoden für diese Aufgaben. Darüber hinaus stellen wir automatisierte 3D-Vollkörper-Annotierungen von TotalCapture zur Verfügung und zeigen experimentell, dass ihre Verwendung zusammen mit H3WB die Leistung verbessert. Der Quellcode und der Datensatz sind unter https://github.com/wholebody3d/wholebody3d verfügbar.请注意，为了更符合德语的表达习惯，我做了一些细微的调整，例如将“keypoints”翻译为“Keypoint-Annotierungen”，并在一些地方使用了被动语态。同时，对于不太常见的术语如“pose lifting”，我在括号中保留了原文以确保信息完整。