W-HMR: Monokulare Wiederherstellung des menschlichen Gitters im Weltkoordinatensystem mit schwach überwachter Kalibrierung

Frühere Methoden zur 3D-Bewegungserfassung von Menschen aus monoischen Bildern scheitern oft an der Abhängigkeit von Kamerakoordinaten, was zu Ungenauigkeiten in realen Anwendungen führt. Die begrenzte Verfügbarkeit und Vielfalt von Brennweitenlabels verschärft zudem die Fehlalignierungsprobleme bei rekonstruierten 3D-Menschenkörpern. Um diesen Herausforderungen entgegenzutreten, stellen wir W-HMR vor, eine schwach überwachte Kalibrierungsmethode, die auf Basis von Körperscheindistanzinformationen „vernünftige“ Brennweiten vorhersagt und so die Notwendigkeit präziser Brennweitenlabels beseitigt. Unser Ansatz verbessert die Genauigkeit der 2D-Überwachung und der Bewegungserfassung. Zudem präsentieren wir das OrientCorrect-Modul, das die Körperausrichtung korrigiert, um plausibelere Rekonstruktionen im Weltkoordinatensystem zu ermöglichen und den Fehlerakkumulation durch ungenaue Kamerarotationsvorhersagen zu vermeiden. Unsere Beiträge umfassen eine neuartige schwach überwachte Kameralibrierungstechnik, ein effektives Ausrichtungskorrekturmodul sowie eine Entkopplungsstrategie, die die Generalisierungsfähigkeit und Genauigkeit der Bewegungserfassung sowohl in Kamerakoordinaten als auch in Weltkoordinaten erheblich steigert. Die Robustheit von W-HMR wird durch umfangreiche Experimente auf verschiedenen Datensätzen bestätigt, wodurch ihre Überlegenheit gegenüber bestehenden Methoden nachgewiesen wird. Der Quellcode und Demos sind auf der Projektseite https://yw0208.github.io/w-hmr/ verfügbar.