Command Palette
Search for a command to run...
Die Menschen vereinen: Schließen der Schleife zwischen 3D- und 2D-Darstellungen menschlicher Gestalten
Die Menschen vereinen: Schließen der Schleife zwischen 3D- und 2D-Darstellungen menschlicher Gestalten
Zusammenfassung
3D-Modelle bieten eine gemeinsame Grundlage für verschiedene Darstellungen menschlicher Körper. Umgekehrt hat sich die robuste 2D-Schätzung als leistungsfähiges Werkzeug erwiesen, um 3D-Anpassungen „in der Wildnis“ zu erzielen. Je nach Detailgenauigkeit kann es jedoch schwer bis unmöglich sein, auf großem Maßstab annotierte Daten für die Schulung von 2D-Schätzern zu beschaffen. Wir schlagen einen hybriden Ansatz für dieses Problem vor: Mit einer erweiterten Version der kürzlich vorgestellten SMPLify-Methode erhalten wir hochwertige 3D-Körpermodell-Anpassungen für mehrere Datensätze mit menschlichen Körperhaltungen. Menschliche Annotatoren bewerten lediglich, ob die Anpassungen gut oder schlecht sind. Dieser Prozess führt zu einem initialen Datensatz, UP-3D, der reichhaltige Annotationen enthält. Anhand einer umfassenden Reihe von Experimenten zeigen wir, wie dieser Datensatz zur Schulung diskriminativer Modelle genutzt werden kann, die Ergebnisse mit einer bisher nicht erreichten Detailgenauigkeit liefern: Unsere Modelle schätzen 31 Körpersegmente und 91 Landmarkenpositionen auf dem Körper vorher. Unter Verwendung des 91-Landmarken-Haltungs-Schätzers erzielen wir state-of-the-art-Ergebnisse bei der 3D-Schätzung von Körperhaltung und -form – und zwar mit einer Größenordnung weniger Trainingsdaten und ohne Annahmen bezüglich Geschlecht oder Haltung im Anpassungsprozess. Wir zeigen, dass UP-3D durch diese verbesserten Anpassungen weiter ausgebaut werden kann, sowohl hinsichtlich Quantität als auch Qualität, was die Skalierbarkeit des Systems ermöglicht. Die Daten, der Code und die Modelle stehen für Forschungszwecke zur Verfügung.