Leichtgewichtige Mehrpersonen-Gesamtbewegungserfassung unter Verwendung von spärlichen Mehransichtskameras

Die Gesamtbewegungserfassung mehrerer Personen ist äußerst herausfordernd, insbesondere bei starken Verdeckungen, unterschiedlichen Rekonstruktionsgranularitäten von Körper, Gesicht und Händen, stark wechselnden Beobachtungsskalen sowie schnellen Körperbewegungen. Um diese Herausforderungen zu meistern, tragen wir ein leichtgewichtiges System zur Gesamtbewegungserfassung für interaktive Szenarien mit mehreren Personen bei, das lediglich auf wenigen, verteilten Kameras basiert. Durch die Einführung eines neuartigen Hand- und Gesichts-Bootstrapping-Algorithmus ist unsere Methode in der Lage, Hände und Gesichter effizient zu lokalisieren und genau zuzuordnen, selbst unter extremen Verdeckungsbedingungen. Wir kombinieren Ansätze zur Pose-Regression und Keypoint-Detektion und schlagen zudem eine einheitliche zweistufige parametrische Anpassungsmethode vor, um pixelgenaue Genauigkeit zu erreichen. Zudem wird ein neuartiger Rückkopplungsmechanismus vorgestellt, der pixelgenaue Rekonstruktionen in den nächsten Frame propagiert, um bei extrem selbstverdeckten Haltungen und engen Interaktionen eine genauere Zuordnung zu ermöglichen. Insgesamt präsentieren wir das erste leichtgewichtige System zur Gesamtbewegungserfassung und erreichen eine schnelle, robuste und genaue Gesamtbewegungserfassung mehrerer Personen. Die Ergebnisse und Experimente zeigen, dass unsere Methode unter sparse-view-Setups genauere Ergebnisse erzielt als bestehende Ansätze.