Tiefe Neuronale Netzwerkaugmentierung: Generierung von Gesichtern für Affektanalyse

Dieses Papier präsentiert einen neuen Ansatz zur Synthese von Gesichtsausdrucksaffekt; entweder in Form der sechs grundlegenden Ausdrücke (d.h. Wut, Ekel, Angst, Freude, Traurigkeit und Überraschung) oder in Bezug auf Valenz (d.h. wie positiv oder negativ eine Emotion ist) und Aktivierung (d.h. die Intensität der Emotionsaktivierung). Der vorgeschlagene Ansatz akzeptiert folgende Eingaben: i) ein neutrales 2D-Bild einer Person; ii) einen grundlegenden Gesichtsausdruck oder ein Paar von Valenz-Aktivierungs-Emotionalzustandsdeskriptoren (VA-Deskriptoren), das generiert werden soll, oder einen Affektpfad im 2D-VA-Raum, der als Bildsequenz generiert werden soll. Um den Affekt in Bezug auf VA für diese Person zu synthetisieren, wurden $600.000$ Frames aus der 4DFAB-Datenbank annotiert. Die Affektsynthese wird durch Anpassung eines 3D-Morphable-Modells am neutralen Bild implementiert, dann wird das rekonstruierte Gesicht deformiert und der eingegebene Affekt hinzugefügt, und das neue Gesicht mit dem gegebenen Affekt wird in das ursprüngliche Bild integriert. Qualitative Experimente veranschaulichen die Erzeugung realistischer Bilder, wenn das neutrale Bild aus dreizehn bekannten laborkontrollierten oder freigegebenen Datenbanken wie Aff-Wild, AffectNet und RAF-DB stammt; Vergleiche mit Generativen Adversarial Networks (GANs) zeigen die höhere Qualität des vorgeschlagenen Ansatzes. Anschließend werden quantitative Experimente durchgeführt, bei denen die synthetisierten Bilder zur Datenaugmentierung beim Training tiefer neuronaler Netze verwendet werden, um Affekterkennung in allen Datenbanken durchzuführen; verglichen mit den neuesten Methoden sowie mit GAN-basierter Datenaugmentierung werden erheblich verbesserte Leistungen in allen Fällen erreicht.