Direkte Formregressionsnetzwerke für end-to-end-Gesichtsausrichtung

Die Gesichtsalignierung wurde in der Computer-Vision-Community ausgiebig untersucht, da sie eine zentrale Rolle in der Gesichtsanalyse spielt, bleibt jedoch weiterhin ein ungelöstes Problem. Die Hauptursachen hierfür liegen in der stark nichtlinearen Beziehung zwischen Gesichtsbildern und den zugehörigen Gesichtsformen, die durch die zugrundeliegende Korrelation der Merkpunkte kompliziert wird. Bisherige Methoden stützen sich hauptsächlich auf kaskadierte Regression und leiden unter inhärenten Nachteilen, wie etwa einer starken Abhängigkeit von der Initialisierung sowie der unzureichenden Nutzung der Korrelationen zwischen Merkpunkten. In diesem Artikel stellen wir das Direct Shape Regression Network (DSRN) vor, ein end-to-end-Modell zur Gesichtsalignierung, das die oben genannten Herausforderungen in einem einheitlichen Rahmen gemeinsam bewältigt. Insbesondere ermöglicht die Implementierung einer doppelt konvolutionellen Schicht sowie der in diesem Werk vorgeschlagenen Fourier-Feature-Pooling-Schicht eine effiziente Konstruktion starker Merkmale, die es DSRN erlaubt, die hochgradig nichtlinearen Beziehungen zwischen Bildern und Formen zu entkoppeln. Durch die Integration einer niedrigrangigen linearen Schicht kann DSRN die Korrelationen zwischen Merkpunkten effektiv erfassen und so die Gesamtperformance verbessern. DSRN kombiniert die Stärken von Kernen zur nichtlinearen Merkmalsextraktion mit den Fähigkeiten von neuronalen Netzwerken zur strukturierten Vorhersage und stellt damit die erste end-to-end-Lernarchitektur für direkte Gesichtsalignierung dar. Die Wirksamkeit und Allgemeingültigkeit des Ansatzes werden durch umfangreiche Experimente auf fünf Standard-Datensätzen – AFLW, 300W, CelebA, MAFL und 300VW – nachgewiesen. Alle empirischen Ergebnisse zeigen, dass DSRN konsistent hohe Leistung erzielt und in den meisten Fällen die derzeit besten Ansätze übertreffen kann.