DiffMesh: Ein bewegungsorientiertes Diffusionsframework zur Menschengitterrekonstruktion aus Videos

Die menschliche Mesh-Rekonstruktion (Human Mesh Recovery, HMR) liefert reichhaltige Informationen über den menschlichen Körper für zahlreiche Anwendungen in der realen Welt. Während bildbasierte HMR-Methoden beeindruckende Ergebnisse erzielt haben, stoßen sie häufig in dynamischen Szenarien auf Schwierigkeiten, was zu zeitlichen Inkonsistenzen und unglatten 3D-Bewegungsprognosen führt, da die menschliche Bewegung fehlt. Im Gegensatz dazu nutzen videobasierte Ansätze zeitliche Informationen, um dieses Problem zu mildern. In diesem Paper präsentieren wir DiffMesh, einen innovativen, bewegungsbeobachtenden Diffusions-ähnlichen Rahmen für videobasierte HMR. DiffMesh schafft eine Brücke zwischen Diffusionsmodellen und menschlicher Bewegung und erzeugt effizient präzise und glatte Mesh-Sequenzen, indem menschliche Bewegung sowohl im Vorwärts- als auch im Rückwärtsprozess des Diffusionsmodells integriert wird. Umfassende Experimente wurden auf den weit verbreiteten Datensätzen (Human3.6M \cite{h36m_pami} und 3DPW \cite{pw3d2018}) durchgeführt, die die Wirksamkeit und Effizienz unseres DiffMesh belegen. Visuelle Vergleiche in realen Szenarien unterstreichen zudem die Eignung von DiffMesh für praktische Anwendungen.