HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Instanzbewusste kontrastive Lernmethode für die Rekonstruktion occludierter menschlicher Meshes

{Wonjun Kim Won-Sik Cheong Gi-Mun Um Mi-Gyeong Gwon}

Instanzbewusste kontrastive Lernmethode für die Rekonstruktion occludierter menschlicher Meshes

Abstract

In diesem Paper wird eine einfache, jedoch effektive Methode zur occlusion-robusten 3D-Menschen-Mesh-Rekonstruktion aus einer einzigen Bildaufnahme vorgestellt. Obwohl zahlreiche jüngere Studien erhebliche Fortschritte bei der Rekonstruktion von Menschen-Meshes gezeigt haben, bleibt die Generierung genauer Meshes bei Personen-zu-Personen-Überlappungen weiterhin herausfordernd, da die Zuordnung einzelner Körperteile unsicher ist. Um dieses Problem anzugehen, schlagen wir ein instanzbewusstes kontrastives Lernverfahren vor. Konkret werden Gelenk-Features, die dem Zielmenschen zugehörig sind, so trainiert, dass sie nahe an einem Anchor-Feature liegen (d. h. einem Feature, das aus der zentralen Körperposition extrahiert wurde). Gleichzeitig werden die Anchor-Features verschiedener menschlicher Instanzen voneinander entfernt, sodass die Gelenk-Features jeder Person klar von denen anderer Personen unterschieden werden können. Durch die Interpretation der Gelenk-Zugehörigkeit basierend auf diesem kontrastiven Lernansatz versteht die vorgeschlagene Methode leicht die räumliche Belegung der Körperteile für jede Person in einem gegebenen Bild, wodurch zuverlässige Menschen-Meshes auch bei stark überlappenden Szenen mehrerer Personen rekonstruiert werden können. Experimentelle Ergebnisse auf Benchmark-Datensätzen belegen die Robustheit des vorgeschlagenen Ansatzes gegenüber früheren Methoden unter Personen-zu-Personen-Überlappungen. Der Quellcode und die Modelle sind öffentlich verfügbar unter: https://github.com/DCVL-3D/InstanceHMR_release.

Benchmarks

BenchmarkMethodikMetriken
3d-human-pose-estimation-on-3dpwInstanceHMR
MPJPE: 73.2
MPVPE: 80.3
PA-MPJPE: 44.3
3d-human-pose-estimation-on-cmu-panopticInstanceHMR
Average MPJPE (mm): 126.1
3d-multi-person-pose-estimation-on-cmuInstanceHMR
Average MPJPE (mm): 126.1

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Instanzbewusste kontrastive Lernmethode für die Rekonstruktion occludierter menschlicher Meshes | Forschungsarbeiten | HyperAI