Erzeugung mehrerer Hypothesen für die 3D-Pose-Schätzung von Menschen mit Mischdichtnetzwerk

Die Schätzung der 3D-Haltung eines Menschen aus einem monoökularen Bild oder 2D-Gelenken ist ein schlecht gestelltes Problem aufgrund der Tiefenunsicherheit und verdeckten Gelenke. Wir argumentieren, dass die Schätzung der 3D-Haltung aus einer monoökularen Eingabe ein inverses Problem ist, bei dem mehrere zulässige Lösungen existieren können. In dieser Arbeit schlagen wir einen neuen Ansatz vor, um mehrere zulässige Hypothesen der 3D-Haltung aus 2D-Gelenken zu generieren. Im Gegensatz zu bestehenden tiefen Lernmethoden, die einen mittleren quadratischen Fehler basierend auf einer unimodalen Gauß-Verteilung minimieren, ist unsere Methode in der Lage, mehrere zulässige Hypothesen der 3D-Haltung basierend auf einem multimodalen Mischdichteverteilungsnetzwerk (multimodal mixture density networks) zu generieren. Unsere Experimente zeigen, dass die durch unseren Ansatz aus einer Eingabe von 2D-Gelenken geschätzten 3D-Haltungen in den 2D-Rückprojektionen konsistent sind, was unser Argument unterstützt, dass für das inverses Problem von 2D zu 3D mehrere Lösungen existieren. Darüber hinaus erzielen wir den Stand der Technik sowohl im Szenario der besten Hypothese als auch bei multiview-Einstellungen auf dem Human3.6M-Datensatz und demonstrieren die Generalisierungsfähigkeit unseres Modells durch Tests auf den MPII- und MPI-INF-3DHP-Datensätzen. Unser Code ist auf der Projektwebsite verfügbar.