3D-Gesichtsrekonstruktion mit dichten Landmarken

Landmarks spielen oft eine zentrale Rolle bei der Gesichtsanalyse, doch viele Aspekte von Identität oder Ausdruck können allein durch spärliche Landmarks nicht ausreichend repräsentiert werden. Um Gesichter genauer wiederzugeben, werden Landmarks daher häufig mit zusätzlichen Signalen wie Tiefenbildern oder Techniken wie differentiable Rendering kombiniert. Können wir die Sache vereinfachen, indem wir einfach mehr Landmarks verwenden? Darauf geben wir eine Antwort: Wir präsentieren die erste Methode, die genau 10-mal so viele Landmarks wie üblich vorhersagt und dabei den gesamten Kopf abdeckt – inklusive Augen und Zähne. Dies wird durch den Einsatz synthetischer Trainingsdaten erreicht, die perfekte Annotationen der Landmarks garantieren. Durch die Anpassung eines morphable Models an diese dichten Landmarks erzielen wir state-of-the-art Ergebnisse bei der monokularen 3D-Gesichtsrekonstruktion in natürlichen Umgebungen. Wir zeigen, dass dichte Landmarks ein ideales Signal für die Integration von Gesichtsforminformation über mehrere Frames hinweg darstellen, indem wir eine präzise und ausdrucksstarke Gesichtsperformance-Erfassung sowohl in monokularen als auch in mehrperspektivischen Szenarien demonstrieren. Dieser Ansatz ist zudem äußerst effizient: Wir können dichte Landmarks vorhersagen und unser 3D-Gesichtsmodell auf einer einzigen CPU-Thread-Thread mit über 150 FPS anpassen. Weitere Informationen finden Sie auf unserer Website: https://microsoft.github.io/DenseLandmarks/.