Regionale Aufmerksamkeitsnetzwerke für robuste Gesichtsausdruckserkennung bei Pose und Okklusion

Occlusion und Pose-Variationen, die das Gesichtsaussehen erheblich verändern können, sind zwei der größten Hürden für die automatische Erkennung von Gesichtsausdrücken (Facial Expression Recognition, FER). Obwohl die automatische FER in den letzten Jahrzehnten erhebliche Fortschritte gemacht hat, haben die Probleme der Occlusion-Robustheit und Pose-Invarianz in realen Szenarien relativ wenig Aufmerksamkeit gefunden. In dieser Arbeit adressieren wir das Problem der realweltmäßigen Occlusion- und Pose-Robustheit bei FER mit drei wesentlichen Beiträgen.Erstens, um die Forschung zu FER unter realen Occlusions und variablen Poses zu fördern, haben wir mehrere im Wild aufgenommene Gesichtsausdruck-Datensätze mit manuellen Annotationen für die Community erstellt. Zweitens schlagen wir ein neues Region Attention Network (RAN) vor, das sich anpasst, um die Bedeutung von Gesichtsregionen für FER unter Occlusions und Pose-Variationen zu erfassen. Das RAN aggregiert und kodiert eine variable Anzahl von Regionmerkmalen, die durch ein konvolutorisches Neuronales Netzwerk (CNN) generiert werden, in eine kompakte Darstellung fester Länge. Drittens, inspiriert durch die Tatsache, dass Gesichtsausdrücke hauptsächlich durch Faciale Action Units definiert sind, schlagen wir einen regionale Verzerrungsverlust (region biased loss) vor, um hohe Aufmerksamkeitsgewichte für die wichtigsten Regionen zu fördern.Wir validieren unser RAN und den regional verzerrten Verlust sowohl auf unseren selbst erstellten Testdatensätzen als auch auf vier gängigen Datensätzen: FERPlus, AffectNet, RAF-DB und SFEW. Umfangreiche Experimente zeigen, dass unser RAN und der regionale Verzerrungsverlust die Leistungsfähigkeit von FER bei Occlusions und variablen Poses erheblich verbessern. Unsere Methode erreicht zudem Stand-of-the-Art-Ergebnisse auf FERPlus, AffectNet, RAF-DB und SFEW. Der Code sowie die gesammelten Testdaten werden öffentlich zur Verfügung gestellt.