Probabilistische 3D-Menschform- und -haltungsschätzung aus mehreren unbeschränkten Bildern im Freien

Dieses Papier behandelt das Problem der Schätzung von 3D-Menschengeform und -haltung aus RGB-Bildern. Die jüngsten Fortschritte in diesem Bereich haben sich auf einzelne Bilder, Videos oder multiview-Bilder als Eingaben konzentriert. Im Gegensatz dazu schlagen wir eine neue Aufgabe vor: die Schätzung von Form und Haltung aus einer Gruppe mehrerer Bilder eines Menschen, ohne Einschränkungen hinsichtlich der Haltung des Subjekts, der Kameraperspektive oder den Hintergrundbedingungen zwischen den Bildern der Gruppe. Unsere Lösung für diese Aufgabe prognostiziert Verteilungen über die SMPL-Körperform- und -haltungsparameter unter Berücksichtigung der Eingabebilder in der Gruppe. Wir kombinieren probabilistisch die vorhergesagten Körperformverteilungen aus jedem Bild, um eine endgültige Mehrbildformprognose zu erhalten. Wir zeigen, dass die zusätzlichen Informationen zur Körperform in Mehrbild-Eingruppen die 3D-Menschengeformschätzungsmaße auf dem SSP-3D-Datensatz und einem privaten Datensatz von mit Maßband vermessenen Menschen verbessern, verglichen mit Einzelbild-Eingaben. Zudem ermöglicht es uns die Vorhersage von Verteilungen über 3D-Körper, die Unsicherheit bei der Haltungsschätzung zu quantifizieren, was bei herausfordernden Eingabebildern mit erheblicher Verdeckung nützlich ist. Unsere Methode zeigt eine bedeutsame Haltungsunsicherheit auf dem 3DPW-Datensatz und ist im Vergleich zum Stand der Technik in Bezug auf Haltungsschätzungsmaße wettbewerbsfähig.