Fiduzielle Fokussierungserweiterung für die Detektion von Gesichtspunkten

Tiefes Lernen hat zu erheblichen Verbesserungen der Leistung bei der Aufgabe der Gesichtspunkterkennung (Facial Landmark Detection, FLD) geführt. Dennoch stellen die Erkennung von Landmarks in anspruchsvollen Szenarien, wie Veränderungen der Kopfhaltung, übertriebene Mimik oder ungleichmäßige Beleuchtung, aufgrund hoher Variabilität und unzureichender Datenmengen weiterhin eine Herausforderung dar. Diese Mängel können darauf zurückgeführt werden, dass das Modell nicht in der Lage ist, angemessene Informationen über die Gesichtsstruktur aus den Eingabebildern effektiv zu extrahieren. Um dies zu beheben, schlagen wir eine neuartige Bildverstärkungstechnik vor, die speziell für die FLD-Aufgabe entwickelt wurde, um das Verständnis des Modells für Gesichtsstrukturen zu verbessern. Um die neu vorgeschlagene Verstärkungstechnik effektiv einzusetzen, verwenden wir ein Trainingsmechanismus basierend auf einer Siamesischen Architektur mit einem durch tiefes kanonisches Korrelationsanalyse (Deep Canonical Correlation Analysis, DCCA) gestützten Verlustfunktion, um gemeinsam hochwertige Merkmalsrepräsentationen aus zwei verschiedenen Ansichten der Eingabebilder zu lernen. Darüber hinaus setzen wir ein Netzwerk basierend auf Transformer + CNN mit einem benutzerdefinierten Stundenglas-Modul als robustes Rückgrat für das Siamesische Framework ein. Ausführliche Experimente zeigen, dass unser Ansatz mehrere Stand-of-the-Art-Methoden in verschiedenen Benchmark-Datensätzen übertreffen kann.