Deformable Mesh Transformer für die 3D-Human-Mesh-Rekonstruktion

Wir stellen DeFormable Mesh Transformer (DeFormer) vor, einen neuartigen, auf Ecken basierenden Ansatz zur monokularen 3D-Menschengitter-Rekonstruktion. DeFormer passt iterativ ein Körpergittermodell einer Eingabebild durch einen Gitterausrichtungs-Rückkopplungsloop an, der innerhalb eines Transformer-Decoders realisiert ist und effiziente, körpergeführte Aufmerksamkeitsmodule beinhaltet: 1) körperbasierte spärliche Selbst-Aufmerksamkeit und 2) deformierbare Gitter-Kreuz-Aufmerksamkeit. Dadurch kann DeFormer hochaufgelöste Bildmerkmalskarten und dichte Gittermodelle effektiv ausnutzen, was in früheren Ansätzen mit standardmäßiger Transformer-Aufmerksamkeit rechnerisch kostspielig war. Experimentelle Ergebnisse zeigen, dass DeFormer auf den Benchmarks Human3.6M und 3DPW state-of-the-art-Leistungen erzielt. Eine Ablationsstudie wird zudem durchgeführt, um die Wirksamkeit der Modellarchitektur von DeFormer hinsichtlich der Nutzung mehrskaliger Merkmalskarten zu belegen. Der Quellcode ist unter https://github.com/yusukey03012/DeFormer verfügbar.