Kohärente Rekonstruktion mehrerer Personen aus einem einzelnen Bild

In dieser Arbeit befassen wir uns mit dem Problem der Mehrperson-3D-Pose-Schätzung aus einem einzelnen Bild. Ein typischer Regressionsansatz im top-down Setting dieses Problems würde zunächst alle Menschen erkennen und dann jede Person unabhängig voneinander rekonstruieren. Dieser Art von Vorhersage leidet jedoch an inkohärenten Ergebnissen, wie zum Beispiel Durchdringungen und inkonsistenten Tiefenordnungen zwischen den Personen auf der Szene. Unser Ziel ist es, ein einziges Netzwerk zu trainieren, das lernt, diese Probleme zu vermeiden und eine kohärente 3D-Rekonstruktion aller Menschen in der Szene zu generieren. Dazu ist eine entscheidende Designentscheidung die Integration des parametrischen Körpormodells SMPL in unseren top-down Ansatz, was die Verwendung von zwei neuen Verlustfunktionen ermöglicht. Erstens straft eine kollisionsbasierte Verlustfunktion, die auf Distanzfeldern basiert (distance field-based collision loss), Durchdringungen zwischen den rekonstruierten Personen. Zweitens berücksichtigt eine Verlustfunktion, die Tiefenordnung bewusst (depth ordering-aware loss), Okkusionen und fördert eine Tiefenordnung der Personen, die mit der annotierten Instanzsegmentierung konsistent ist. Dies bietet dem Netzwerk Tiefenaufsichtssignale, selbst wenn das Bild keine expliziten 3D-Annotierungen enthält. Die Experimente zeigen, dass unser Ansatz bei Standard-3D-Pose-Benchmarks bessere Ergebnisse als vorherige Methoden erzielt und unsere vorgeschlagenen Verlustfunktionen eine kohärentere Rekonstruktion in natürlichen Bildern ermöglichen. Die Projektwebsite mit Videos, Ergebnissen und Code kann unter folgender URL gefunden werden: https://jiangwenpl.github.io/multiperson