SEFD: Lernen zur Komplexen Pose- und Verdeckungs-Distillation

Diese Arbeit behandelt das Problem der dreidimensionalen (3D) Menschengitter-Schätzung in komplexen Pose-Situationen und bei Verdeckung. Obwohl zahlreiche Fortschritte bei der 3D-Menschengitter-Schätzung unter Verwendung zweidimensionaler (2D) Pose-Daten erzielt wurden, insbesondere im Hinblick auf die Verdeckung zwischen Menschen, bleibt die Verdeckung durch komplexe Körperpose und andere Objekte ein anhaltendes Problem. Daher stellen wir das neuartige Skinned Multi-Person Linear (SMPL) Edge Feature Distillation (SEFD) vor, das robust gegenüber komplexen Posen und Verdeckungen ist, ohne die Anzahl der Parameter im Vergleich zum Basismodell zu erhöhen. Das Modell erzeugt eine SMPL-Überlappungskante, die der Ground-Truth ähnelt und sowohl die Kontur der Zielperson als auch Informationen zur Verdeckung enthält, wodurch eine anschließende Merkmals-Distillation in einer einfachen Kantenkarte ermöglicht wird. Wir führen Experimente an verschiedenen Benchmarks durch und zeigen sowohl qualitativ als auch quantitativ hohe Genauigkeit. Umfangreiche Experimente belegen, dass unsere Methode im Vergleich zur State-of-the-Art-Methode auf dem Benchmark-Datensatz 3DPW bei Vorhandensein eines Domänenunterschieds die Leistung um 2,8 % in MPJPE und 1,9 % in MPVPE übertrifft. Zudem erweist sich unsere Methode als überlegen auf den Datensätzen 3DPW-OCC, 3DPW-PC, RH-Dataset, OCHuman, CrowdPose und LSP, in denen Verdeckung, komplexe Pose und Domänenunterschiede vorliegen. Der Quellcode sowie die Annotationen zu Verdeckung und komplexen Posen werden unter https://anonymous.4open.science/r/SEFD-B7F8/ zur Verfügung gestellt.