MHEntropy: Entropie trifft auf mehrere Hypothesen zur Pose- und Shape-Rekonstruktion

Für die 3D-Gesten- und Formschätzung basierend auf monokularen RGB-Bildern sind aufgrund von Faktoren wie Verdeckung und Abschneidung häufig mehrere Lösungen möglich. In dieser Arbeit präsentieren wir einen mehrhypothetischen probabilistischen Rahmen, der die Kullback-Leibler-Divergenz (KLD) zwischen der Datenumverteilung und der Modellverteilung optimiert. Unsere Formulierung offenbart eine bisher von vorherigen Arbeiten vernachlässigte Beziehung zwischen der Pose-Entropie und der Vielfalt in den mehreren Hypothesen. Zur umfassenden Bewertung berücksichtigen wir neben dem besten Hypothesen-Metrik (BH) auch die Sichtbarkeit, um die Vielfalt zu bewerten. Zudem ist unser Rahmen beschriftungsfreundlich, da er bereits mit nur partiellen 2D-Knotenpunkten, beispielsweise nur sichtbaren, gelernt werden kann. Experimente an sowohl ambigen als auch realen Benchmarks zeigen, dass unsere Methode im umfassenden Vergleich andere führende mehrhypothetische Ansätze übertrifft. Die Projektseite ist unter https://gloryyrolg.github.io/MHEntropy zu finden.