HyperAIHyperAI

Command Palette

Search for a command to run...

GenHMR: Generative Human Mesh Recovery GenHMR: Generativer Wiedergewinnung von menschlichen Gittern

Muhammad Usama Saleem extsuperscript1 Ekkasit Pinyoanuntapong extsuperscript1 Pu Wang extsuperscript1 Hongfei Xue extsuperscript1 Srijan Das extsuperscript1 Chen Chen extsuperscript2

Zusammenfassung

Die Wiederherstellung von menschlichen Meshes (HMR) ist in vielen Anwendungen der Computer Vision von entscheidender Bedeutung; sei es im Gesundheitswesen, in den Künsten oder im Unterhaltungssektor. Die HMR aus monoökularen Bildern wurde bisher hauptsächlich durch deterministische Methoden angegangen, die für ein gegebenes 2D-Bild eine einzelne Vorhersage erzeugen. Allerdings ist die HMR aus einem einzigen Bild aufgrund der Tiefenunsicherheit und Verdeckungen ein schlecht gestelltes Problem. Probabilistische Methoden haben versucht, dies durch die Generierung und Fusion mehrerer plausibler 3D-Rekonstruktionen zu lösen, jedoch war ihre Leistung oft hinter den deterministischen Ansätzen zurückgeblieben. In dieser Arbeit stellen wir GenHMR vor, einen neuen generativen Rahmen, der die monoökularer HMR als eine bildbedingte generative Aufgabe umformuliert und Unsicherheiten im Prozess der 2D-zu-3D-Abbildung explizit modelliert und reduziert. GenHMR besteht aus zwei wesentlichen Komponenten: (1) einem Pose-Tokenisierer zur Umwandlung von 3D-Menschpose in eine Folge diskreter Token im latenten Raum und (2) einem bildbedingten maskierten Transformer, um die Wahrscheinlichkeitsverteilungen der Pose-Token zu lernen, wobei diese Verteilungen sowohl auf dem Eingangsbild als auch auf einer zufällig maskierten Tokenfolge konditioniert sind. Während des Inferenzprozesses zieht das Modell Stichproben aus der gelernten bedingten Verteilung, um schrittweise hochsichere Pose-Token zu dekodieren und damit Unsicherheiten bei der 3D-Rekonstruktion zu verringern. Um die Rekonstruktion weiter zu verfeinern, wird eine 2D-Pose-gesteuerte Verfeinerungstechnik vorgeschlagen, mit der die dekodierten Pose-Token direkt im latenten Raum feinjustiert werden können. Dies zwingt das projizierte 3D-Körpernetzwerk zur Übereinstimmung mit den 2D-Posehinweisen. Experimente an Standard-Datensätzen zeigen, dass GenHMR erheblich besser abschneidet als state-of-the-art-Methoden (Stand der Technik). Die Projektwebsite kann unter https://m-usamasaleem.github.io/publication/GenHMR/GenHMR.html gefunden werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
GenHMR: Generative Human Mesh Recovery GenHMR: Generativer Wiedergewinnung von menschlichen Gittern | Paper | HyperAI