Formbewahrende Gesichtspunkte mit Graph-Attention-Netzwerken

Die besten Leistungsfähigkeiten bei der Schätzung von Landmarken basieren auf der Nutzung der ausgezeichneten Fähigkeit großer Faltungsneuronaler Netze (CNNs), lokale Erscheinungen darzustellen. Es ist jedoch bekannt, dass sie nur schwache räumliche Beziehungen lernen können. Um dieses Problem zu lösen, schlagen wir ein Modell vor, das eine Kombination aus einem CNN und einer Kaskade von Graph-Attention-Network-Regressoren darstellt. Hierfür führen wir eine Kodierung ein, die sowohl das Aussehen als auch die Position von Gesichtslandmarken gemeinsam darstellt, sowie einen Aufmerksamkeitsmechanismus, um die Informationen nach ihrer Zuverlässigkeit zu gewichten. Dies wird mit einem Multi-Task-Ansatz kombiniert, um die Position der Graphknoten zu initialisieren, und einem Verfahren zur Beschreibung von Landmarken von grob zu fein. Unsere Experimente bestätigen, dass das vorgeschlagene Modell eine globale Darstellung der Struktur des Gesichts lernt und Spitzenleistungen in gängigen Benchmarks für Kopfhaltung und Landmarkenschätzung erzielt. Die Verbesserung durch unser Modell ist besonders signifikant in Situationen, bei denen es zu großen Veränderungen im lokalen Aussehen der Landmarken kommt.