Wahrscheinlichkeitsbasiertes Modellieren für die Wiederherstellung von menschlichen Meshes

Dieses Papier beschäftigt sich mit dem Problem der 3D-Mensch-Rekonstruktion aus 2D-Beweisen. Obwohl dies ein grundsätzlich ambiges Problem ist, vermeiden die meisten jüngsten Arbeiten das Modellieren von Unsicherheiten und geben für eine gegebene Eingabe in der Regel nur eine einzelne Schätzung ab. Im Gegensatz dazu schlagen wir in dieser Arbeit vor, die Rekonstruktionsambiguität zu akzeptieren und das Problem als Lernen einer Abbildung von der Eingabe zu einer Verteilung plausibler 3D-Posen zu reformulieren. Unser Ansatz basiert auf dem Modell der Normalizing Flows und bietet eine Reihe von Vorteilen. Für konventionelle Anwendungen, bei denen eine einzelne 3D-Schätzung erforderlich ist, ermöglicht unsere Formulierung eine effiziente Berechnung des Modus. Die Verwendung des Modus führt zu Leistungen, die sich mit den besten deterministischen unimodalen Regressionsmodellen vergleichen lassen. Gleichzeitig können wir aufgrund des Zugangs zur Wahrscheinlichkeit jedes Samples zeigen, dass unser Modell in einer Reihe nachgelagerter Aufgaben nützlich ist, bei denen wir die wahrscheinlichkeitstheoretische Natur der Vorhersage als Werkzeug für eine genauere Schätzung nutzen. Zu diesen Aufgaben gehören die Rekonstruktion aus mehreren nicht kalibrierten Sichten sowie das Anpassen eines Menschenmodells, bei dem unser Modell als leistungsfähiger bildbasierter Prior für die Netzwerkkorrektur dient. Unsere Ergebnisse untermauern die Bedeutung der wahrscheinlichkeitstheoretischen Modellierung und deuten auf Spitzenleistungen in verschiedenen Szenarien hin. Der Quellcode und die Modelle sind unter folgender URL verfügbar: https://www.seas.upenn.edu/~nkolot/projects/prohmr.注释：- "3D human reconstruction" 翻译为 "3D-Mensch-Rekonstruktion"- "2D evidence" 翻译为 "2D-Beweise"- "uncertainty modeling" 翻译为 "Modellieren von Unsicherheiten"- "normalizing flows model" 翻译为 "Modell der Normalizing Flows"- "image-based prior" 翻译为 "bildbasierter Prior"- "mesh recovery" 翻译为 "Netzwerkkorrektur"（在德语中，通常使用“Netz”来表示“mesh”，而“Korrektur”则表示恢复或重建）