Schnelle bi-layer neuronale Synthese ein-Schuss-realistischer Kopf-Avatare

Wir stellen ein auf neuronalen Rendering-Techniken basierendes System vor, das Kopf-Avatare aus einer einzigen Fotografie erstellt. Unser Ansatz modelliert das Erscheinungsbild einer Person durch eine Zerlegung in zwei Schichten. Die erste Schicht ist ein poseabhängiges, grobes Bild, das durch ein kleines neuronales Netzwerk synthetisiert wird. Die zweite Schicht wird durch eine poseunabhängige Texturbildkomponente definiert, die hochfrequente Details enthält. Das Texturbild wird offline generiert, verformt und dem groben Bild hinzugefügt, um eine hohe effektive Auflösung der synthetisierten Kopfbilder zu gewährleisten. Wir vergleichen unser System mit vergleichbaren state-of-the-art-Systemen hinsichtlich visueller Qualität und Geschwindigkeit. Die Experimente zeigen eine signifikante Beschleunigung der Inferenz gegenüber früheren neuronalen Kopf-Avatar-Modellen bei gleichbleibender visueller Qualität. Zudem berichten wir über eine Echtzeit-Implementierung unseres Systems auf Smartphone-Plattformen.