Selbstüberwachtes Lernen von Bewegungserfassung

Der aktuelle Stand der Technik bei der Bewegungserfassung mit einer einzelnen Kamera basiert auf Optimierungsverfahren: Sie optimieren die Parameter eines 3D-Menschenmodells so, dass dessen Rückprojektion den Messungen im Video entspricht (z.B. Personensegmentierung, optischer Fluss, Keypoint-Erkennung usw.). Optimierungsmodelle sind anfällig für lokale Minima. Dies war die Engstelle, die es erforderlich machte, beim Erfassungszeitpunkt saubere Grünbild-Hintergründe zu verwenden, manuelle Initialisierung durchzuführen oder mehrere Kameras als Eingaberesource einzusetzen. In dieser Arbeit schlagen wir ein lernbasiertes Modell für die Bewegungserfassung mit einer einzelnen Kamera vor. Anstatt direkt die Parameter des Netzes und des Skeletts zu optimieren, optimiert unser Modell Gewichte neuronaler Netze, die 3D-Form und Skelett-Konfigurationen aus einem monokularen RGB-Video vorhersagen. Unser Modell wird unter Verwendung einer Kombination aus starkem Aufsichtslernen von synthetischen Daten und Selbstaufsichtslernen durch differenzierbares Rendern von (a) Skelett-Keypoints, (b) dichter 3D-Gitterbewegung und (c) Mensch-Hintergrund-Segmentierung in einem end-to-end-Framework trainiert. Empirisch zeigen wir, dass unser Modell das Beste aus den Welten des überwachten Lernens und der Testzeitoptimierung kombiniert: Überwachtes Lernen initialisiert die Modellparameter in dem richtigen Bereich, was eine gute Pose- und Oberflächeninitialisierung zur Testzeit gewährleistet, ohne manuelle Bemühungen. Die Selbstüberwachung durch Rückpropagation durch differenzierbares Rendern ermöglicht (unüberwachte) Anpassungen des Modells an die Testdaten und bietet einen viel engeren Anpassungsgrad als ein vortrainiertes festes Modell. Wir zeigen, dass das vorgeschlagene Modell mit Erfahrung besser wird und auf niedrigfehlende Lösungen konvergiert, wo frühere Optimierungsverfahren versagen.