HyperAIHyperAI

Command Palette

Search for a command to run...

Deformable Mesh Transformer für die 3D-Human-Mesh-Rekonstruktion

Yusuke Yoshiyasu

Zusammenfassung

Wir stellen DeFormable Mesh Transformer (DeFormer) vor, einen neuartigen, auf Ecken basierenden Ansatz zur monokularen 3D-Menschengitter-Rekonstruktion. DeFormer passt iterativ ein Körpergittermodell einer Eingabebild durch einen Gitterausrichtungs-Rückkopplungsloop an, der innerhalb eines Transformer-Decoders realisiert ist und effiziente, körpergeführte Aufmerksamkeitsmodule beinhaltet: 1) körperbasierte spärliche Selbst-Aufmerksamkeit und 2) deformierbare Gitter-Kreuz-Aufmerksamkeit. Dadurch kann DeFormer hochaufgelöste Bildmerkmalskarten und dichte Gittermodelle effektiv ausnutzen, was in früheren Ansätzen mit standardmäßiger Transformer-Aufmerksamkeit rechnerisch kostspielig war. Experimentelle Ergebnisse zeigen, dass DeFormer auf den Benchmarks Human3.6M und 3DPW state-of-the-art-Leistungen erzielt. Eine Ablationsstudie wird zudem durchgeführt, um die Wirksamkeit der Modellarchitektur von DeFormer hinsichtlich der Nutzung mehrskaliger Merkmalskarten zu belegen. Der Quellcode ist unter https://github.com/yusukey03012/DeFormer verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp