HyperAIHyperAI
vor 2 Monaten

HuManiFlow: Ahnenbedingte Normalisierende Flüsse auf SO(3)-Mannigfaltigkeiten zur Schätzung von menschlichen Pose- und Formverteilungen

Sengupta, Akash ; Budvytis, Ignas ; Cipolla, Roberto
HuManiFlow: Ahnenbedingte Normalisierende Flüsse auf SO(3)-Mannigfaltigkeiten zur Schätzung von menschlichen Pose- und Formverteilungen
Abstract

Die monokulare 3D-Pose- und Formschätzung ist ein schlecht gestelltes Problem, da mehrere 3D-Lösungen eine 2D-Bildaufnahme eines Subjekts erklären können. Neuere Ansätze prognostizieren eine Wahrscheinlichkeitsverteilung über plausiblen 3D-Pose- und Formparametern, bedingt durch das Bild. Wir zeigen, dass diese Ansätze einen Kompromiss zwischen drei wesentlichen Eigenschaften aufweisen: (i) Genauigkeit – die Wahrscheinlichkeit der wahren 3D-Lösung unter der vorhergesagten Verteilung, (ii) Stichproben-Eingabe-Konsistenz – dem Maß, in dem 3D-Stichproben aus der vorhergesagten Verteilung mit den sichtbaren 2D-Bildevidenzen übereinstimmen, und (iii) Stichproben-Vielfalt – dem Spektrum plausibler 3D-Lösungen, die von der vorhergesagten Verteilung modelliert werden. Unser Verfahren, HuManiFlow, prognostiziert gleichzeitig genaue, konsistente und vielfältige Verteilungen. Wir verwenden den menschlichen Kinematikbaum, um die gesamtkörperliche Pose in vorgängerbedingte Poseverteilungen pro Körperpart in einem autoregressiven Modus zu faktorisieren. Die Poseverteilungen pro Körperpart werden mithilfe von Normalizing Flows implementiert, die die Mannigfaltigkeitsstruktur von SO(3), der Lie-Gruppe der Posen pro Körperpart, respektieren. Wir demonstrieren, dass schlecht gestellte, aber weit verbreitete 3D-Punkt-Schätzungsverluste die Stichproben-Vielfalt reduzieren und daher ausschließlich wahrscheinlichkeitstheoretische Trainingsverluste einsetzen. Der Quellcode ist verfügbar unter: https://github.com/akashsengupta1997/HuManiFlow.