Das Lernen der Verfeinerung von Menschlichen Pose-Schätzungen

Die Schätzung von Mehrpersonen-Posen in Bildern und Videos ist eine wichtige, jedoch herausfordernde Aufgabe mit zahlreichen Anwendungen. Trotz der großen Fortschritte in der Schätzung menschlicher Posen durch die Entwicklung von Faltungsneuronalen Netzen (Convolutional Neural Networks) gibt es immer noch viele schwierige Fälle, bei denen selbst die besten Modelle nicht in der Lage sind, alle Körperteile korrekt zu lokalisieren. Dies motiviert die Notwendigkeit eines zusätzlichen Verfeinerungsschritts, der diese Herausforderungen anspricht und leicht auf jede bestehende Methode angewendet werden kann. In dieser Arbeit stellen wir ein Posenerfeinerungsnetzwerk (PoseRefiner) vor, das sowohl das Bild als auch eine gegebene Posen-Schätzung als Eingabe verwendet und lernt, eine verfeinerte Pose direkt vorherzusagen, indem es gleichzeitig über den Eingangs- und Ausgaberaum nachdenkt. Um das Netzwerk dazu zu befähigen, fehlerhafte Körperteilvorhersagen zu verfeinern, verwenden wir ein neuartiges Datenverstärkungsverfahren (Data Augmentation Scheme) für das Training, bei dem wir "schwierige" Posenfälle modellieren. Wir evaluieren unseren Ansatz anhand vier populärer großskaliger Posen-Schätzbenchmarks wie MPII Einzel- und Mehrpersonen-Pose-Schätzung, PoseTrack Pose-Schätzung und PoseTrack Pose-Tracking und melden systematische Verbesserungen gegenüber dem aktuellen Stand der Technik.