Formbewusste Mehrpersonen-Posenschätzung aus Multiview-Bildern

In diesem Paper tragen wir einen einfachen, aber effektiven Ansatz zur Schätzung von 3D-Posen mehrerer Personen aus mehreren Blickwinkeln bei. Unser vorgeschlagener Coarse-to-Fine-Pipeline aggregiert zunächst verrauschte 2D-Beobachtungen aus mehreren Kamerabildern in den 3D-Raum und assoziiert diese anschließend anhand einer konfidenzbewussten Majority-Voting-Technik zu einzelnen Instanzen. Die endgültigen Pose-Schätzungen werden durch ein neuartiges Optimierungsverfahren erzielt, das hochzuverlässige mehrperspektivische 2D-Beobachtungen mit 3D-Gelenkkandidaten verknüpft. Zudem wird ein statistisches parametrisches Körpermodell wie SMPL als regulierender Prior für diese 3D-Gelenkkandidaten herangezogen. Konkret werden sowohl die 3D-Posen als auch die SMPL-Parameter alternierend optimiert. Dabei helfen die parametrischen Modelle dabei, unwahrscheinliche 3D-Pose-Schätzungen zu korrigieren und fehlende Gelenkdetektionen zu ergänzen, während aktualisierte 3D-Posen wiederum zu verbesserten SMPL-Schätzungen führen. Durch die Verknüpfung von 2D- und 3D-Beobachtungen ist unsere Methode sowohl präzise als auch generalisierbar auf verschiedene Datensätze, da sie die endgültige 3D-Pose besser von der räumlichen Anordnung zwischen Personen entkoppelt und robuster gegenüber verrauschten 2D-Detektionen ist. Wir evaluieren unsere Methode systematisch auf öffentlichen Datensätzen und erreichen state-of-the-art-Leistung. Der Quellcode und Videos werden auf der Projektseite bereitgestellt: https://ait.ethz.ch/projects/2021/multi-human-pose/.