Anatomy-orientierte 3D-Ganzkörperpose-Schätzung mit knochengestützter Pose-Zerlegung

In dieser Arbeit präsentieren wir eine neue Lösung für die 3D-Gesten-Schätzung in Videos. Anstelle der direkten Regression der 3D-Gelenkpositionen lassen wir uns von der Anatomie des menschlichen Skeletts inspirieren und zerlegen die Aufgabe in die Vorhersage von Knochenrichtungen und Knochenlängen, aus denen sich die 3D-Gelenkpositionen vollständig ableiten lassen. Unser Ansatz basiert auf der Tatsache, dass die Knochenlängen eines menschlichen Skeletts über die Zeit hinweg konstant bleiben. Dies motiviert uns, effektive Techniken zu entwickeln, um globale Informationen über alle Frames eines Videos zur präzisen Schätzung der Knochenlängen zu nutzen. Darüber hinaus schlagen wir für das Netzwerk zur Vorhersage der Knochenrichtungen eine vollständig konvolutionale, propagierende Architektur mit langen Sprungverbindungen vor. Im Wesentlichen ermittelt es die Richtungen verschiedener Knochen hierarchisch, ohne zeitintensive Speichereinheiten wie z. B. LSTM zu verwenden. Zusätzlich wird eine neuartige Joint-Shift-Verlustfunktion eingeführt, um die Schulung der Knochenlängen- und Knochenrichtungsnetzwerke zu verbinden. Schließlich nutzen wir eine implizite Aufmerksamkeitsmechanik, um die Sichtbarkeitswerte der 2D-Gelenkpunkte als zusätzliche Anleitung in das Modell einzuführen, was die Tiefenambiguität bei vielen herausfordernden Pose-Konfigurationen erheblich verringert. Unser vollständiges Modell erreicht auf den Datensätzen Human3.6M und MPI-INF-3DHP Ergebnisse, die die bisher besten Ergebnisse übertreffen, wobei eine umfassende Evaluierung die Wirksamkeit unseres Ansatzes bestätigt.