TexturePose: Die Überwachung der Schätzung des menschlichen Meshes mit texturerster Konsistenz

Diese Arbeit behandelt das Problem der modellbasierten Schätzungen menschlicher Körperhaltungen. Neuere Ansätze haben erhebliche Fortschritte bei der Regression von Parametern parametrischer menschlicher Körpermuster direkt aus Bildern gemacht. Aufgrund des Mangels an Bildern mit 3D-Form-Referenzdaten (Ground Truth) stützen sich relevante Ansätze auf 2D-Annotierungen oder komplizierte Architekturdesigns. In dieser Arbeit plädieren wir dafür, dass es weitere Hinweise gibt, die wir nutzen können und die in natürlichen Bildern kostenlos zur Verfügung stehen, d.h., ohne zusätzliche Annotierungen zu benötigen oder das Netzwerkarchitektur zu modifizieren. Wir schlagen eine natürliche Form der Überwachung vor, die von der Erscheinungsbeständigkeit einer Person in verschiedenen Frames (oder Betrachtungswinkeln) profitiert. Dieser oft übersehen und scheinbar unbedeutende Hinweis ist für modellbasierte Haltungs-Schätzungen sehr hilfreich. Das parametrische Modell, das wir verwenden, ermöglicht es uns, eine Texturkarte für jeden Frame zu berechnen. Unter der Annahme, dass sich die Textur einer Person zwischen den Frames nicht stark ändert, können wir einen neuen Texturkonsistenzverlust (Texture Consistency Loss) anwenden, der sicherstellt, dass jeder Punkt in der Texturkarte denselben Texturwert in allen Frames hat. Da die Textur in diesem gemeinsamen Texturaum übertragen wird, ist keine Berechnung von Kamerasbewegungen erforderlich oder sogar eine Annahme von Glattheit zwischen den Frames. Dies macht unsere vorgeschlagene Überwachungsmethode in verschiedenen Szenarien anwendbar, von monoaularen Videos bis hin zu multiview-Bildern. Wir vergleichen unseren Ansatz mit starken Baselines, die dieselben oder sogar mehr Annotierungen benötigen wie wir, und übertreffen diese konsistent. Gleichzeitig erzielen wir Stand-of-the-Art-Ergebnisse unter modellbasierten Haltungs-Schätzansätzen in verschiedenen Benchmarks. Die Projektwebsite mit Videos, Ergebnissen und Code finden Sie unter https://seas.upenn.edu/~pavlakos/projects/texturepose.