PaMIR: Parametrische Modellbedingte Implizite Darstellung für bildbasierte menschliche Rekonstruktion

Die genaue und robuste Modellierung von 3D-Menschen aus einem einzelnen Bild ist sehr herausfordernd, und der Schlüssel für dieses schlecht gestellte Problem ist die 3D-Darstellung der menschlichen Modelle. Um die Einschränkungen herkömmlicher 3D-Darstellungen zu überwinden, schlagen wir das parametrische Modell-bedingte implizite Darstellungsverfahren (PaMIR) vor, das das parametrische Körpermodell mit der freiformigen tiefen impliziten Funktion kombiniert.In unserem Rekonstruktionsrahmenwerk basierend auf PaMIR wird ein neues tiefes neuronales Netzwerk vorgeschlagen, um die freiformige tiefe implizite Funktion durch die semantischen Merkmale des parametrischen Modells zu regularisieren. Dies verbessert die Generalisierungsfähigkeit unter den Szenarien herausfordernder Pose und verschiedener Kleidungstopologien. Des Weiteren wird ein neuartiger Tiefenschärfebewusster Trainingsverlust integriert, um Tiefenschärfenzweifel aufzulösen und eine erfolgreiche Oberflächen-detailrekonstruktion bei unvollständigen Körpervorlagen zu ermöglichen.Schließlich schlagen wir eine Methode zur Optimierung der Körpervorlage vor, um die Genauigkeit der parametrischen Modellschätzung zu verbessern und die Konsistenz zwischen dem parametrischen Modell und der impliziten Funktion zu erhöhen. Mit der PaMIR-Darstellung kann unser Rahmenwerk leicht auf Mehrbild-Eingabeszenarien erweitert werden, ohne dass eine Mehrkamerakalibrierung oder Posesynchronisation erforderlich ist. Experimentelle Ergebnisse zeigen, dass unsere Methode den Stand der Technik in Bezug auf bildbasierte 3D-Menschrekonstruktion bei herausfordernden Posen und Kleidungsarten erreicht.