HMP: Handbewegungsprioren für die Schätzungen von Pose und Form aus Videos

Das Verständnis der Weise, wie Menschen mit der Welt interagieren, erfordert eine genaue 3D-Schätzung der Handpose, eine Aufgabe, die durch den hohen Grad der Artikulation der Hand, häufige Verdeckungen, Selbstverdeckungen und schnelle Bewegungen kompliziert wird. Während die meisten existierenden Methoden auf einzelnen Bildern basieren, bieten Videos nützliche Hinweise zur Bewältigung der oben genannten Probleme. Allerdings sind vorhandene video-basierte 3D-Hand-Datensätze für das Training von Feedforward-Modellen unzureichend, um auf realweltliche Szenarien zu generalisieren. Andererseits haben wir Zugang zu großen Datensätzen menschlicher Bewegungsaufzeichnungen, die auch Handbewegungen enthalten, z.B. AMASS. Daher entwickeln wir ein generatives Bewegungsprior speziell für Hände, das auf dem AMASS-Datensatz trainiert wurde und vielfältige und hochwertige Handbewegungen umfasst. Dieses Bewegungsprior wird dann für die video-basierte 3D-Schätzung von Handbewegungen unter Verwendung eines latenten Optimierungsansatzes eingesetzt. Die Integration eines robusten Bewegungspriors verbessert die Leistungsignifikanz erheblich, insbesondere in Szenarien mit Verdeckungen. Es liefert stabile, zeitlich konsistente Ergebnisse, die konventionelle single-frame-Methoden übertrumpfen. Wir demonstrieren die Effektivität unserer Methode durch qualitative und quantitative Bewertungen an den Datensätzen HO3D und DexYCB, wobei besonderer Wert auf einem Teilbereich von HO3D gelegt wird, der sich auf Verdeckungssituationen konzentriert. Der Quellcode ist unter https://hmp.is.tue.mpg.de verfügbar.