HyperAIHyperAI

Command Palette

Search for a command to run...

Ein vereinheitlichtes maskiertes Autoencoder-Modell mit patchifizierten Skeletten für die Bewegungssynthese

Esteve Valls Mascaro Hyemin Ahn Dongheui Lee

Zusammenfassung

Die Synthese menschlicher Bewegungen wurde traditionell durch aufgabenabhängige Modelle angegangen, die sich auf spezifische Herausforderungen konzentrieren, wie beispielsweise die Vorhersage zukünftiger Bewegungen oder die Ausfüllung von Zwischenpose unter der Bedingung bekannter Schlüsselpose. In diesem Paper präsentieren wir ein neuartiges, aufgabenunabhängiges Modell namens UNIMASK-M, das diese Herausforderungen effizient mit einer einheitlichen Architektur bewältigen kann. Unser Modell erreicht eine vergleichbare oder sogar bessere Leistung als die derzeit beste State-of-the-Art-Methoden in jedem einzelnen Bereich. Inspiriert durch Vision Transformers (ViTs) zerlegt unser UNIMASK-M-Modell eine menschliche Pose in Körperabschnitte, um die räumlich-zeitlichen Beziehungen innerhalb menschlicher Bewegungen effektiv auszunutzen. Zudem formulieren wir verschiedene auf Pose bedingte Aufgaben der Bewegungssynthese als Rekonstruktionsprobleme mit unterschiedlichen Maskierungsmustern als Eingabe. Durch die explizite Informierung unseres Modells über die maskierten Gelenke wird UNIMASK-M robuster gegenüber Verdeckungen. Experimentelle Ergebnisse zeigen, dass unser Modell die Vorhersage menschlicher Bewegungen auf dem Human3.6M-Datensatz erfolgreich bewältigt. Zudem erzielt es State-of-the-Art-Ergebnisse bei der Bewegungsinbetweening auf dem LaFAN1-Datensatz, insbesondere bei langen Übergangszeiträumen. Weitere Informationen finden sich auf der Projektwebsite: https://evm7.github.io/UNIMASKM-page/


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein vereinheitlichtes maskiertes Autoencoder-Modell mit patchifizierten Skeletten für die Bewegungssynthese | Paper | HyperAI