3D-Gesichtsrekonstruktion mit geometrischer Anleitung durch Segmentierung von Gesichtsteilen

3D-Morphable-Modelle (3DMMs) bieten vielversprechende 3D-Gesichtsrekonstruktionen in verschiedenen Anwendungen. Bestehende Methoden haben jedoch Schwierigkeiten, Gesichter mit extremen Ausdrücken zu rekonstruieren, aufgrund von Mängeln in den Supervisionsignalen, wie zum Beispiel dünn besetzten oder ungenauen Landmarken. Segmentationsinformationen enthalten effektive geometrische Kontexte für die Gesichtsrekonstruktion. Einige Ansätze basieren intuitiv auf differenzierbaren Renderern, um die gerenderten Silhouetten der Rekonstruktion mit der Segmentation zu vergleichen, was jedoch anfällig für Probleme wie lokale Optima und Gradienteninstabilität ist. In dieser Arbeit nutzen wir die Geometrie der Gesichtsteilsegmentierung vollständig, indem wir den Part-Reprojection-Distance-Loss (PRDL) einführen. Speziell transformiert PRDL die Gesichtsteilsegmentierung in 2D-Punkte und projiziert die Rekonstruktion erneut auf die Bildebene. Anschließend etabliert PRDL durch Einführung von Gitterankern und Berechnung verschiedener statistischer Abstände zwischen diesen Ankern und den Punktmengen geometrische Deskriptoren, um die Verteilung der Punktmengen für die Gesichtsrekonstruktion zu optimieren. Im Vergleich zu rendererbasierten Methoden zeigt PRDL eine klare Gradientenstruktur und erreicht Spitzenleistungen in umfangreichen quantitativen und qualitativen Experimenten. Unser Projekt ist unter https://github.com/wang-zidu/3DDFA-V3 verfügbar.