HyperAIHyperAI

Command Palette

Search for a command to run...

SelfRecon: Selbstrekonstruktion Ihres digitalen Avatars aus monokularer Videoaufnahme

Boyi Jiang Yang Hong Hujun Bao Juyong Zhang

Zusammenfassung

Wir stellen SelfRecon vor, eine Methode zur Rekonstruktion bekleideter menschlicher Körper, die implizite und explizite Darstellungen kombiniert, um raumzeitlich konsistente Geometrien aus einem monokularen Video eines sich selbst drehenden Menschen zu rekonstruieren. Explizite Methoden erfordern für eine gegebene Sequenz ein vordefiniertes Template-Mesh, wobei ein solches Template für eine spezifische Person jedoch schwer zu beschaffen ist. Zudem beschränkt die feste Topologie die Rekonstruktionsgenauigkeit und die Vielfalt der darstellbaren Kleidungsarten. Implizite Darstellungen ermöglichen eine beliebige Topologie und können aufgrund ihrer kontinuierlichen Natur hochauflösende Geometrieformen repräsentieren. Allerdings ist es schwierig, Informationen aus mehreren Frames zu integrieren, um eine konsistente Registrierungssequenz für nachgeschaltete Anwendungen zu erzeugen. Wir schlagen vor, die Vorteile beider Darstellungsformen zu kombinieren. Dabei nutzen wir einen differenzierbaren Maskenverlust des expliziten Meshes, um eine konsistente Gesamtform zu erzielen, während die Details auf der impliziten Oberfläche durch differenzierbare neuronale Rendering-Techniken verfeinert werden. Gleichzeitig wird das explizite Mesh periodisch aktualisiert, um Topologiewandel zu berücksichtigen, und ein Konsistenzverlust wird entworfen, um beide Darstellungen zu synchronisieren. Im Vergleich zu bestehenden Methoden kann SelfRecon hochfidele Oberflächen für beliebige bekleidete Menschen mit selbstüberwachter Optimierung erzeugen. Ausführliche experimentelle Ergebnisse belegen die Wirksamkeit der Methode an realen, monokularen Aufnahmen. Der Quellcode ist unter https://github.com/jby1993/SelfReconCode verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SelfRecon: Selbstrekonstruktion Ihres digitalen Avatars aus monokularer Videoaufnahme | Paper | HyperAI