Oklusionsrobuste Gesichtsalignment unter Verwendung einer sichtbarekeitsunabhängigen hierarchischen Netzarchitektur

Das Problem der Okklusion beeinträchtigt die Lokalisationsleistung bei der Gesichtsalignment erheblich. Die meisten aktuellen Ansätze zur Bewältigung dieses Problems konzentrieren sich auf die Annotation neuer Okklusionsdaten, die Einführung von Grenzschätzungstechniken sowie die Verwendung tieferer Modelle, um die Robustheit neuronalen Netzwerke zu verbessern. Dennoch bleibt die Leistung von Modellen unter extremen Okklusionen (durchschnittliche Okklusionsrate über 50 %) beeinträchtigt, da eine große Menge an Gesichts-Kontextinformation fehlt. Wir argumentieren, dass die Exploration neuronaler Netzwerke zur Modellierung von Gesichtshierarchien ein vielversprechenderer Ansatz für die Behandlung extremer Okklusionen ist. Überraschenderweise wurde in jüngsten Studien nur wenig Aufwand in die Darstellung von Gesichtshierarchien mittels neuronalen Netzwerken gesteckt. In dieser Arbeit wird eine neue Netzarchitektur namens GlomFace vorgestellt, die darauf abzielt, Gesichtshierarchien unter verschiedenen Okklusionen zu modellieren und sich dabei von der sichtpunktinvarianten Hierarchie der Gesichtsstruktur inspirieren lässt. Speziell ist GlomFace funktional in zwei Module unterteilt: das Teil-Ganzes-Hierarchiemodul und das Ganzes-Teil-Hierarchiemodul. Letzteres erfasst die hierarchischen Abhängigkeiten zwischen Teilen und Ganzem der Gesichtsregionen, um multiskalare Okklusionsinformationen zu unterdrücken, während ersteres durch die Aufbau von Ganzes-Teil-Beziehungen zwischen Gesichtsregionen strukturelle Schlussfolgerung in neuronale Netzwerke einbringt. Dadurch verfügt GlomFace aufgrund ihrer Entsprechung zu den Gesichtshierarchien über eine klare topologische Interpretierbarkeit. Ausführliche experimentelle Ergebnisse zeigen, dass GlomFace mit bestehenden state-of-the-art-Methoden vergleichbare Ergebnisse erzielt, insbesondere unter Bedingungen extremer Okklusion. Die Modelle sind unter https://github.com/zhuccly/GlomFace-Face-Alignment verfügbar.