Command Palette
Search for a command to run...
SelfRecon: Selbstrekonstruktion Ihres digitalen Avatars aus monokularer Videoaufnahme
SelfRecon: Selbstrekonstruktion Ihres digitalen Avatars aus monokularer Videoaufnahme
Boyi Jiang Yang Hong Hujun Bao Juyong Zhang
Zusammenfassung
Wir stellen SelfRecon vor, eine Methode zur Rekonstruktion bekleideter menschlicher Körper, die implizite und explizite Darstellungen kombiniert, um raumzeitlich konsistente Geometrien aus einem monokularen Video eines sich selbst drehenden Menschen zu rekonstruieren. Explizite Methoden erfordern für eine gegebene Sequenz ein vordefiniertes Template-Mesh, wobei ein solches Template für eine spezifische Person jedoch schwer zu beschaffen ist. Zudem beschränkt die feste Topologie die Rekonstruktionsgenauigkeit und die Vielfalt der darstellbaren Kleidungsarten. Implizite Darstellungen ermöglichen eine beliebige Topologie und können aufgrund ihrer kontinuierlichen Natur hochauflösende Geometrieformen repräsentieren. Allerdings ist es schwierig, Informationen aus mehreren Frames zu integrieren, um eine konsistente Registrierungssequenz für nachgeschaltete Anwendungen zu erzeugen. Wir schlagen vor, die Vorteile beider Darstellungsformen zu kombinieren. Dabei nutzen wir einen differenzierbaren Maskenverlust des expliziten Meshes, um eine konsistente Gesamtform zu erzielen, während die Details auf der impliziten Oberfläche durch differenzierbare neuronale Rendering-Techniken verfeinert werden. Gleichzeitig wird das explizite Mesh periodisch aktualisiert, um Topologiewandel zu berücksichtigen, und ein Konsistenzverlust wird entworfen, um beide Darstellungen zu synchronisieren. Im Vergleich zu bestehenden Methoden kann SelfRecon hochfidele Oberflächen für beliebige bekleidete Menschen mit selbstüberwachter Optimierung erzeugen. Ausführliche experimentelle Ergebnisse belegen die Wirksamkeit der Methode an realen, monokularen Aufnahmen. Der Quellcode ist unter https://github.com/jby1993/SelfReconCode verfügbar.