Deep-Emotion: Erkennung von Gesichtsausdrücken mit Aufmerksamkeitskonvolutionales Netzwerk

Die Erkennung von Gesichtsausdrücken war in den letzten Jahrzehnten ein aktives Forschungsgebiet und stellt weiterhin eine Herausforderung dar aufgrund der hohen innerklassischen Variation. Traditionelle Ansätze für dieses Problem basieren auf manuell gestalteten Merkmalen wie SIFT, HOG und LBP, gefolgt von einem Klassifizierer, der auf einer Datenbank von Bildern oder Videos trainiert wurde.Die meisten dieser Arbeiten erzielen zufriedenstellende Ergebnisse bei Datensätzen von Bildern, die unter kontrollierten Bedingungen aufgenommen wurden, scheitern jedoch an anspruchsvolleren Datensätzen mit größerer Bildvariation und teilweise sichtbaren Gesichtern.In den letzten Jahren schlugen mehrere Arbeiten einen end-to-end-Framework für die Erkennung von Gesichtsausdrücken vor, der tiefen Lernmodelle (deep learning models) verwendet. Trotz der besseren Leistung dieser Arbeiten gibt es immer noch viel Verbesserungspotential.In dieser Arbeit schlagen wir einen tiefen Lernansatz vor, der auf einer Aufmerksamkeitskonvolutionalen Netzwerkarchitektur (attentional convolutional network) basiert. Dieses Netzwerk ist in der Lage, sich auf wichtige Bereiche des Gesichts zu konzentrieren und erzielt erhebliche Verbesserungen gegenüber früheren Modellen in mehreren Datensätzen, einschließlich FER-2013, CK+, FERG und JAFFE.Wir verwenden außerdem eine Visualisierungstechnik, die in der Lage ist, wichtige Gesichtsbereiche für die Erkennung verschiedener Emotionen basierend auf der Ausgabe des Klassifizierers zu identifizieren. Durch experimentelle Ergebnisse zeigen wir, dass verschiedene Emotionen unterschiedlich empfindlich gegenüber verschiedenen Teilen des Gesichts sind.