Ad-Corre: Adaptive Correlation-basierte Verlustfunktion für die Gesichtsausdruckserkennung in freier Umgebung

Die automatisierte Erkennung von Gesichtsausdrücken (Facial Expression Recognition, FER) in natürlicher Umgebung („in the wild“) mittels tiefer neuronalen Netze bleibt weiterhin herausfordernd aufgrund von innerklassigen Variabilitäten und äußerst ähnlichen Merkmalen zwischen verschiedenen Klassen in Gesichtsbildern. Deep Metric Learning (DML) zählt zu den weit verbreiteten Ansätzen, um diese Herausforderungen zu bewältigen, indem die trennscharfe Leistung der gelernten eingebetteten Merkmale verbessert wird. In dieser Arbeit wird eine Adaptive Korrelation (Ad-Corre)-Verlustfunktion vorgestellt, die das Netzwerk anleitet, eingebettete Merkmalsvektoren mit hoher Korrelation innerhalb derselben Klasse und geringerer Korrelation zwischen verschiedenen Klassen zu generieren. Die Ad-Corre-Verlustfunktion besteht aus drei Komponenten: Feature-Discriminator, Mean-Discriminator und Embedding-Discriminator. Die Feature-Discriminator-Komponente leitet das Netzwerk dazu an, eingebettete Merkmalsvektoren stark korreliert zu erzeugen, wenn sie zur gleichen Klasse gehören, und weniger korreliert, wenn sie zu unterschiedlichen Klassen gehören. Zusätzlich sorgt die Mean-Discriminator-Komponente dafür, dass die mittleren eingebetteten Merkmalsvektoren verschiedener Klassen möglichst unähnlich zueinander sind. Wir verwenden das Xception-Netzwerk als Backbone unserer Architektur und schlagen im Gegensatz zu vorherigen Arbeiten einen eingebetteten Merkmalsraum vor, der k Merkmalsvektoren enthält. Die Embedding-Discriminator-Komponente bestraft das Netzwerk, eingebettete Merkmalsvektoren zu generieren, die voneinander abweichen. Unser Modell wurde mit der Kombination unserer vorgeschlagenen Verlustfunktionen – der Ad-Corre-Verlustfunktion – und der Kreuzentropie-Verlustfunktion trainiert. Wir erzielten eine äußerst vielversprechende Erkennungsgenauigkeit auf den Datensätzen AffectNet, RAF-DB und FER-2013. Unsere umfangreichen Experimente und die Ablationsstudie belegen die Stärke unseres Ansatzes, anspruchsvolle FER-Aufgaben in natürlicher Umgebung effektiv zu bewältigen.