Instanzbewusste kontrastive Lernmethode für die Rekonstruktion occludierter menschlicher Meshes
{Wonjun Kim Won-Sik Cheong Gi-Mun Um Mi-Gyeong Gwon}

Abstract
In diesem Paper wird eine einfache, jedoch effektive Methode zur occlusion-robusten 3D-Menschen-Mesh-Rekonstruktion aus einer einzigen Bildaufnahme vorgestellt. Obwohl zahlreiche jüngere Studien erhebliche Fortschritte bei der Rekonstruktion von Menschen-Meshes gezeigt haben, bleibt die Generierung genauer Meshes bei Personen-zu-Personen-Überlappungen weiterhin herausfordernd, da die Zuordnung einzelner Körperteile unsicher ist. Um dieses Problem anzugehen, schlagen wir ein instanzbewusstes kontrastives Lernverfahren vor. Konkret werden Gelenk-Features, die dem Zielmenschen zugehörig sind, so trainiert, dass sie nahe an einem Anchor-Feature liegen (d. h. einem Feature, das aus der zentralen Körperposition extrahiert wurde). Gleichzeitig werden die Anchor-Features verschiedener menschlicher Instanzen voneinander entfernt, sodass die Gelenk-Features jeder Person klar von denen anderer Personen unterschieden werden können. Durch die Interpretation der Gelenk-Zugehörigkeit basierend auf diesem kontrastiven Lernansatz versteht die vorgeschlagene Methode leicht die räumliche Belegung der Körperteile für jede Person in einem gegebenen Bild, wodurch zuverlässige Menschen-Meshes auch bei stark überlappenden Szenen mehrerer Personen rekonstruiert werden können. Experimentelle Ergebnisse auf Benchmark-Datensätzen belegen die Robustheit des vorgeschlagenen Ansatzes gegenüber früheren Methoden unter Personen-zu-Personen-Überlappungen. Der Quellcode und die Modelle sind öffentlich verfügbar unter: https://github.com/DCVL-3D/InstanceHMR_release.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| 3d-human-pose-estimation-on-3dpw | InstanceHMR | MPJPE: 73.2 MPVPE: 80.3 PA-MPJPE: 44.3 |
| 3d-human-pose-estimation-on-cmu-panoptic | InstanceHMR | Average MPJPE (mm): 126.1 |
| 3d-multi-person-pose-estimation-on-cmu | InstanceHMR | Average MPJPE (mm): 126.1 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.