Zu schneller, genauer und stabiler 3D-dichter Gesichtsausrichtung

Bestehende Methoden der 3D-dichten Gesichtsausrichtung konzentrieren sich hauptsächlich auf die Genauigkeit, was den Umfang ihrer praktischen Anwendungen einschränkt. In dieser Arbeit schlagen wir einen neuen Regressionsrahmen vor, der 3DDFA-V2 genannt wird und eine Balance zwischen Geschwindigkeit, Genauigkeit und Stabilität schafft. Zunächst basieren wir auf einem leichten Backbone und schlagen eine Meta-Joint-Optimierungsstrategie vor, um einen kleinen Satz von 3DMM-Parametern dynamisch zu regressieren. Dies verbessert die Geschwindigkeit und Genauigkeit erheblich gleichzeitig. Um die Stabilität in Videos weiter zu erhöhen, stellen wir eine virtuelle Synthese-Methode vor, mit der ein einzelnes Bild in ein kurzes Video transformiert werden kann, das sowohl ebene als auch außerhalb der Ebene befindliche Gesichtsbewegungen integriert. Unter der Voraussetzung hoher Genauigkeit und Stabilität erreicht 3DDFA-V2 mehr als 50 Bilder pro Sekunde (fps) auf einem einzelnen CPU-Kern und übertrifft gleichzeitig andere state-of-the-art schwere Modelle. Experimente anhand mehrerer anspruchsvoller Datensätze bestätigen die Effizienz unserer Methode. Vorab trainierte Modelle und Code sind unter https://github.com/cleardusk/3DDFA_V2 verfügbar.