Norface: Verbesserung der Gesichtsausdrucksanalyse durch Identitätsnormalisierung

Die Analyse von Gesichtsausdrücken bleibt eine herausfordernde Aufgabe aufgrund unerwarteter, taskspezifisch irrelevanten Störungen wie Identität, Kopfhaltung und Hintergrund. Um dieses Problem anzugehen, schlägt dieser Artikel ein neues Framework namens Norface vor, das sowohl für die Analyse von AktionsEinheiten (Action Units, AUs) als auch für die Erkennung von Gesichtsemotionen (Facial Emotion Recognition, FER) geeignet ist. Norface besteht aus einem Normalisierungsnetzwerk und einem Klassifikationsnetzwerk.Zunächst bemüht sich das sorgfältig entwickelte Normalisierungsnetzwerk, die oben genannten taskspezifisch irrelevanten Störungen direkt zu entfernen, indem es die Konsistenz der Gesichtsausdrücke beibehält, aber alle ursprünglichen Bilder auf eine gemeinsame Identität mit konsistenter Kopfhaltung und Hintergrund normalisiert. Anschließend werden diese zusätzlichen normalisierten Bilder in das Klassifikationsnetzwerk eingespeist. Dank der konsistenten Identität und anderer Faktoren (z.B. Kopfhaltung, Hintergrund usw.) ermöglichen die normalisierten Bilder dem Klassifikationsnetzwerk, nützliche Ausdrucksinformationen effektiver zu extrahieren.Darüber hinaus integriert das Klassifikationsnetzwerk einen Expertenmischverfahren (Mixture of Experts), um die latente Darstellung zu verfeinern. Dies beinhaltet sowohl die Verarbeitung der Eingabe von Gesichtsdarstellungen als auch die Ausgabe mehrerer (AU oder Emotions-) Labels. Umfangreiche Experimente bestätigen das sorgfältig entwickelte Framework unter Berücksichtigung der Identitätsnormalisierung. Die vorgeschlagene Methode übertrifft bestehende state-of-the-art Methoden in mehreren Aufgaben zur Analyse von Gesichtsausdrücken, einschließlich der Erkennung von AUs, der Schätzung der Intensität von AUs und FER-Aufgaben sowie deren cross-dataset-Aufgaben.Für die normalisierten Datensätze und den Code besuchen Sie bitte {https://norface-fea.github.io/}.