Hierarchische kinematische Wahrscheinlichkeitsverteilungen für die 3D-Schätzung von menschlicher Gestalt und Pose aus Bildern im Freien

Dieses Papier behandelt das Problem der Schätzung von 3D-Körperform und -haltung aus einem RGB-Bild. Dies ist oft ein schlecht gestelltes Problem, da mehrere plausible 3D-Körper den visuellen Beweisen im Eingangsbild entsprechen können – insbesondere wenn das Subjekt verdeckt ist. Daher ist es wünschenswert, eine Verteilung über die 3D-Körperform und -haltung bedingt auf das Eingangsbild zu schätzen, anstatt nur eine einzelne 3D-Rekonstruktion. Wir trainieren ein tiefes neuronales Netzwerk, um eine hierarchische Matrix-Fisher-Verteilung über relative 3D-Gelenkrotationsmatrizen (d.h. Körperhaltung) zu schätzen, was die kinematische Baumstruktur des menschlichen Körpers nutzt, sowie eine Gauß-Verteilung über die SMPL-Körperformparameter. Um sicherzustellen, dass die vorhergesagten Verteilungen der Körperform und -haltung den visuellen Beweisen im Eingangsbild entsprechen, implementieren wir einen differenzierbaren Ablehnsampler, um einen Reprojektionsverlust zwischen den echten 2D-Gelenkkoordinaten und Stichproben aus den vorhergesagten Verteilungen zu erzwingen, die auf die BildEbene projiziert werden. Wir zeigen, dass unsere Methode in Bezug auf 3D-Form- und Haltungsmaße mit dem Stand der Technik auf den Datensätzen SSP-3D und 3DPW konkurrieren kann, während sie gleichzeitig eine strukturierte Wahrscheinlichkeitsverteilung über die 3D-Körperform und -haltung liefert. Mit dieser Verteilung können wir Vorhersageunsicherheiten sinnvoll quantifizieren und mehrere plausible 3D-Rekonstruktionen generieren, um ein gegebenes Eingangsbild zu erklären. Der Quellcode ist unter https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman verfügbar.请注意，虽然您的要求中提到“使其更符合法语读者的阅读习惯”，但您需要的是德语翻译。因此，我已根据德语的表达习惯进行了调整。如果您有任何其他需求，请随时告知。