Expression, Affekt, Aktionseinheitserkennung: Aff-Wild2, Multi-Task-Learning und ArcFace

Die affektive Computertechnik ist bisher stark durch die Verfügbarkeit von Datensätzen eingeschränkt. Mit dem Aufkommen von Deep-Learning-Modellen – der Standardansatz zur Lösung beliebiger Aufgaben im Bereich Computer Vision – ist das Bedürfnis nach der Erhebung und Annotation vielfältiger, im Alltag aufgezeichneter Datensätze (in-the-wild-Datensätze) deutlich geworden. Zwar wurden kürzlich einige solche Datensätze vorgestellt. Allerdings weisen sie folgende Mängel auf: i) sie sind klein, ii) sie sind nicht audiovisuell, iii) nur ein geringer Teil ist manuell annotiert, iv) sie beinhalten nur wenige Probanden oder v) sie sind nicht für alle zentralen Verhaltensaufgaben annotiert (Schätzung von Valenz und Erregung, Erkennung von Aktionsuniten sowie Klassifikation grundlegender Emotionen). Um diese Lücken zu schließen, erweitern wir den bisher größten verfügbaren in-the-wild-Datensatz (Aff-Wild) erheblich, um kontinuierliche Emotionen wie Valenz und Erregung zu untersuchen. Zudem annotieren wir Teile des Datensatzes mit grundlegenden Emotionen und Aktionsuniten. Dadurch wird erstmals die gemeinsame Untersuchung aller drei Arten von Verhaltenszuständen möglich. Wir bezeichnen diesen erweiterten Datensatz als Aff-Wild2. Wir führen umfangreiche Experimente mit CNN- und CNN-RNN-Architekturen durch, die visuelle und audiovisuelle Modalitäten nutzen; diese Netzwerke werden auf Aff-Wild2 trainiert und anschließend an 10 öffentlich verfügbaren Emotionsdatensätzen evaluiert. Wir zeigen, dass die Netzwerke für Aufgaben der Emotionserkennung Leistungen auf State-of-the-Art-Niveau erreichen. Darüber hinaus adaptieren wir die ArcFace-Verlustfunktion im Kontext der Emotionserkennung und nutzen sie zur Trainierung zweier neuer Netzwerke auf Aff-Wild2, gefolgt von einer erneuten Anpassung an verschiedene, vielfältige Datensätze zur Emotionserkennung. Die Ergebnisse zeigen, dass die Netzwerke die bestehende State-of-the-Art-Performance überbieten. Der Datensatz, die Emotionserkennungsmodelle und der Quellcode sind unter http://ibug.doc.ic.ac.uk/resources/aff-wild2 verfügbar.