DensePose: Dichte Pose-Schätzung von Menschen in der Wildbahn

In dieser Arbeit etablieren wir dichte Korrespondenzen zwischen RGB-Bildern und einer flächenbasierten Darstellung des menschlichen Körpers, eine Aufgabe, die wir als dichte Pose-Schätzung des Menschen bezeichnen. Zunächst sammeln wir dichte Korrespondenzen für 50.000 Personen, die im COCO-Datensatz erscheinen, indem wir einen effizienten Annotierungsprozess einführen. Anschließend nutzen wir unseren Datensatz, um CNN-basierte Systeme zu trainieren, die dichte Korrespondenzen "in der Wildnis" liefern können, das heißt in Gegenwart von Hintergrund, Verdeckungen und Skalenvariationen. Wir verbessern die Effektivität unseres Trainingsdatensatzes durch das Training eines "Inpainting"-Netzes, das fehlende Ground-Truth-Werte ergänzen kann, und berichten über klare Verbesserungen im Vergleich zu den besten Ergebnissen aus der Vergangenheit. Wir experimentieren mit vollkonvolutiven Netzen und regionsbasierten Modellen und beobachten eine Überlegenheit der Letztgenannten; durch Kaskadenverbundung erreichen wir eine weitere Genauigkeitssteigerung und erhalten ein System, das hochgenaue Ergebnisse in Echtzeit liefert. Ergänzende Materialien und Videos sind auf der Projektseite http://densepose.org bereitgestellt.