SPEC: Menschen in der Wildnis mit einer geschätzten Kamera sehen

Aufgrund des Fehlens von Kameraparametern für in-the-wild-Bilder treffen bestehende Methoden zur 3D-Menschengestalt- und -Pose-Schätzung (HPS) mehrere vereinfachende Annahmen: schwache Perspektivprojektion, große konstante Brennweite und keine Kameradrehung. Diese Annahmen gelten häufig nicht, und wir zeigen quantitativ sowie qualitativ, dass sie zu Fehlern in der rekonstruierten 3D-Gestalt und Pose führen. Um dieses Problem anzugehen, stellen wir SPEC vor – die erste in-the-wild-Methode zur 3D-HPS, die die perspektivische Kamera aus einem einzigen Bild schätzt und diese zur präziseren Rekonstruktion von 3D-Menschenkörpern nutzt. Zunächst trainieren wir ein neuronales Netzwerk, um den Sichtwinkel, die Kamerapitch und die Kameraroll anhand eines Eingabebildes zu schätzen. Hierbei verwenden wir neuartige Verlustfunktionen, die die Kalibrierungsgenauigkeit gegenüber früheren Ansätzen verbessern. Anschließend trainieren wir ein neuartiges Netzwerk, das die Kamerakalibrierung mit den Bilddaten verknüpft und diese gemeinsam zur Regressionsanalyse der 3D-Körpergestalt und -Pose nutzt. SPEC erreicht eine höhere Genauigkeit als die vorherigen State-of-the-Art-Methoden auf dem Standardbenchmark (3DPW) sowie auf zwei neuen Datensätzen mit herausfordernderen Kameraperspektiven und variabler Brennweite. Insbesondere erstellen wir einen neuen photorealistischen synthetischen Datensatz (SPEC-SYN) mit Ground-Truth-3D-Körpern sowie einen innovativen in-the-wild-Datensatz (SPEC-MTP) mit Kalibrierung und hochwertigen Referenzkörpern. Sowohl qualitative als auch quantitative Analysen bestätigen, dass die Berücksichtigung der Kameraparameter während der Inferenz zu besseren menschlichen Körperrekonstruktionen führt. Der Quellcode und die Datensätze sind für Forschungszwecke unter https://spec.is.tue.mpg.de verfügbar.