Aufgabenunabhängiger hierarchischer menschlicher Bewegungsprior unter Verwendung von VAEs

Ein tiefes generatives Modell, das menschliche Bewegungen beschreibt, kann eine Vielzahl grundlegender Aufgaben im Bereich Computer Vision und Computergrafik unterstützen, beispielsweise die Robustheit der videobasierten menschlichen Pose-Schätzung verbessern, vollständige Körperbewegungen für Motion-Capture-Systeme während von Verdeckungen vorhersagen oder die Erstellung von Key-Frame-Animationen mit plausiblen Bewegungen unterstützen. In diesem Artikel stellen wir eine Methode vor, komplexe menschliche Bewegungen ohne spezifische Aufgabenabhängigkeit zu lernen, indem wir einen kombinierten globalen und lokalen Latentraum nutzen, um sowohl grobe als auch feinkörnige Modellierung zu ermöglichen. Konkret schlagen wir einen hierarchischen Bewegungs-Variationalen Autoencoder (HM-VAE) mit einem zweistufigen hierarchischen Latentraum vor. Während der globale Latentraum die insgesamt übergeordnete Körperbewegung erfasst, ermöglicht der lokale Latentraum die präzise Erfassung der fein abgestimmten Pose einzelner Körperteile. Wir demonstrieren die Wirksamkeit unseres hierarchischen Bewegungs-Variationalen Autoencoders in einer Vielzahl von Aufgaben, darunter videobasierte menschliche Pose-Schätzung, Bewegungsvervollständigung aus partiellen Beobachtungen sowie Bewegungssynthese aus spärlichen Key-Frame-Daten. Obwohl unser Modell für keine dieser Aufgaben speziell trainiert wurde, erreicht es eine überlegene Leistung im Vergleich zu aufgabe-spezifischen Alternativen. Unser allgemein verwendbares Vorwissen über menschliche Bewegungen kann fehlerhafte Körperanimationen korrigieren und vollständige Bewegungen aus unvollständigen Beobachtungen generieren.