Spärlicher lokaler Patch-Transformer für robuste Gesichtsausrichtung und Lerning der inherenten Landmark-Beziehungen

Wärmekarten-Regressionmethoden haben in den letzten Jahren das Gebiet der Gesichtsausrichtung dominiert, ignorieren aber die inhärente Beziehung zwischen verschiedenen Landmarks. In dieser Arbeit schlagen wir einen Sparse Local Patch Transformer (SLPT) vor, um diese inhärente Beziehung zu lernen. Der SLPT generiert die Darstellung jedes einzelnen Landmarks aus einem lokalen Patch und aggregiert sie durch eine adaptive inhärente Beziehung basierend auf dem Aufmerksamheitsmechanismus. Die Subpixel-Koordinate jedes Landmarks wird unabhängig basierend auf der aggregierten Merkmalsdarstellung vorhergesagt. Darüber hinaus wird ein Framework von grob zu fein eingeführt, das mit dem SLPT kombiniert werden kann. Dies ermöglicht es den anfänglichen Landmarks, unter Verwendung von feingranularen Merkmalen aus dynamisch vergrößerten lokalen Patches allmählich zu den Ziel-Landmarks des Gesichts zu konvergieren. Ausführliche Experimente auf drei gängigen Benchmarks, einschließlich WFLW, 300W und COFW, zeigen, dass die vorgeschlagene Methode mit deutlich geringerer Rechenkomplexität auf dem Stand der Technik arbeitet, indem sie die inhärente Beziehung zwischen Gesichtslandmarks lernt. Der Code ist auf der Projektwebsite verfügbar.