PropagationNet: Punkte propagieren, um Kurven zu erzeugen, um Strukturinformationen zu lernen

Die Technik des Deep Learning hat die Leistungsfähigkeit von Gesichtsalignments-Algorithmen erheblich gesteigert. Aufgrund großer Variabilität und mangelnder Trainingsdaten bleibt jedoch das Alignmentsproblem unter unbeschränkten Bedingungen – beispielsweise große Kopfneigungen, überzogene Mimik oder ungleichmäßige Beleuchtung – weitgehend ungelöst. In diesem Paper untersuchen wir die zugrundeliegenden Intuitionen und Gründe unserer beiden Vorschläge, nämlich den Propagation-Modul und die Focal Wing Loss, um dieses Problem anzugehen. Konkret präsentieren wir einen neuartigen, strukturintegrierten Gesichtsalignments-Algorithmus, der auf der Wärmebildregression basiert und Wärmebilder von Merkmalspunkten in Randwärmebilder propagiert, welche strukturelle Informationen für die anschließende Generierung von Aufmerksamkeitskarten bereitstellen. Zudem schlagen wir eine Focal Wing Loss vor, um schwierige Beispiele unter realen Bedingungen effektiv zu identifizieren und zu betonen. Darüber hinaus integrieren wir Methoden aus anderen Forschungsbereichen, wie CoordConv und Anti-aliased CNN, um das Verschiebungs-Varianz-Problem von CNNs im Kontext der Gesichtsalignments zu adressieren. Bei umfangreichen Experimenten auf verschiedenen Benchmarks – nämlich WFLW, 300W und COFW – übertrifft unsere Methode die bisherigen State-of-the-Art-Verfahren deutlich. Unser vorgeschlagener Ansatz erreicht eine mittlere Fehlerquote von 4,05 % auf WFLW, 2,93 % auf dem vollen 300W-Set und 3,71 % auf COFW.