HyperAIHyperAI

Command Palette

Search for a command to run...

Kohärente Rekonstruktion mehrerer Personen aus einem einzelnen Bild

Wen Jiang Nikos Kolotouros Georgios Pavlakos Xiaowei Zhou Kostas Daniilidis

Zusammenfassung

In dieser Arbeit befassen wir uns mit dem Problem der Mehrperson-3D-Pose-Schätzung aus einem einzelnen Bild. Ein typischer Regressionsansatz im top-down Setting dieses Problems würde zunächst alle Menschen erkennen und dann jede Person unabhängig voneinander rekonstruieren. Dieser Art von Vorhersage leidet jedoch an inkohärenten Ergebnissen, wie zum Beispiel Durchdringungen und inkonsistenten Tiefenordnungen zwischen den Personen auf der Szene. Unser Ziel ist es, ein einziges Netzwerk zu trainieren, das lernt, diese Probleme zu vermeiden und eine kohärente 3D-Rekonstruktion aller Menschen in der Szene zu generieren. Dazu ist eine entscheidende Designentscheidung die Integration des parametrischen Körpormodells SMPL in unseren top-down Ansatz, was die Verwendung von zwei neuen Verlustfunktionen ermöglicht. Erstens straft eine kollisionsbasierte Verlustfunktion, die auf Distanzfeldern basiert (distance field-based collision loss), Durchdringungen zwischen den rekonstruierten Personen. Zweitens berücksichtigt eine Verlustfunktion, die Tiefenordnung bewusst (depth ordering-aware loss), Okkusionen und fördert eine Tiefenordnung der Personen, die mit der annotierten Instanzsegmentierung konsistent ist. Dies bietet dem Netzwerk Tiefenaufsichtssignale, selbst wenn das Bild keine expliziten 3D-Annotierungen enthält. Die Experimente zeigen, dass unser Ansatz bei Standard-3D-Pose-Benchmarks bessere Ergebnisse als vorherige Methoden erzielt und unsere vorgeschlagenen Verlustfunktionen eine kohärentere Rekonstruktion in natürlichen Bildern ermöglichen. Die Projektwebsite mit Videos, Ergebnissen und Code kann unter folgender URL gefunden werden: https://jiangwenpl.github.io/multiperson


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp