LDDMM-Face: Large Deformation Diffeomorphic Metric Learning für flexible und konsistente Gesichtsalignment

Wir stellen innovativ einen flexiblen und konsistenten Rahmen für die Gesichtsalignierung, LDDMM-Face, vor, dessen zentrale Leistung ein Deformationslayer ist, der die Gesichtsgeometrie diffeomorph natürlicherweise einbettet. Anstatt Gesichtslandmarks über Heatmaps oder Koordinatens Regression vorherzusagen, formulieren wir diese Aufgabe im Sinne einer diffeomorphen Registrierung und schätzen Momente vor, die die Deformation zwischen Anfangsrand und tatsächlichen Rand eindeutig parametrisieren. Anschließend wird gleichzeitig für Kurven und Landmarks eine große Deformation diffeomorpher metrischer Abbildung (LDDMM) durchgeführt, um die Gesichtslandmarks zu lokalisieren. Durch die Integration von LDDMM in ein tiefes Netzwerk kann LDDMM-Face Gesichtslandmarks konsistent und ohne Ambiguität annotieren und flexibel verschiedene Annotierungsschemata behandeln, wobei sogar dichte Annotierungen aus spärlichen abgeleitet werden können. Unser Ansatz lässt sich problemlos in verschiedene Gesichtsalignierungsnetzwerke integrieren. Wir evaluieren LDDMM-Face umfassend auf vier Benchmark-Datensätzen: 300W, WFLW, HELEN und COFW-68. LDDMM-Face ist mit bestehenden State-of-the-Art-Methoden vergleichbar oder übertrifft diese bei klassischen innerhalb-dataset- und gleicher-Annotierungssituationen, unterscheidet sich jedoch besonders durch herausragende Leistung bei schwach überwachten Lernansätzen (partiell-zu-vollständig), anspruchsvollen Fällen (z. B. maskierte Gesichter) sowie bei unterschiedlichen Trainings- und Vorhersagedatensätzen. Zudem zeigt LDDMM-Face vielversprechende Ergebnisse bei der anspruchsvollsten Aufgabe, nämlich der Vorhersage über Datensätze mit unterschiedlichen Annotierungsschemata hinweg.