Darstellungslernen und identitätsfeindliches Training für die Verhaltensanalyse von Gesichtern

Die Erkennung von Gesichtsausdrucks-Einheiten (AUs) hat in letzter Zeit erhebliche Aufmerksamkeit erhalten, da sie es ermöglicht, komplexe Gesichtsausdrücke in einzelne Muskelbewegungen zu zerlegen. In dieser Arbeit untersuchen wir zwei grundlegende Faktoren der AU-Erkennung: vielfältige und umfangreiche Daten sowie die Regularisierung der Subjektidentität. Angeregt durch jüngste Fortschritte bei Grundlagenmodellen betonen wir die Bedeutung von Daten und stellen Face9M vor, einen vielfältigen Datensatz mit 9 Millionen Gesichtsbildern aus mehreren öffentlichen Quellen. Das Vortrainieren eines maskierten Autoencoders auf Face9M führt zu ausgezeichneter Leistung in AU-Erkennungs- und Gesichtsausdrucksaufgaben. Noch wichtiger ist jedoch, dass das adversarische Identitäts-Training (IAT) in AU-Aufgaben bisher nicht ausreichend erforscht wurde. Um diese Lücke zu schließen, zeigen wir zunächst, dass die Subjektidentität in AU-Datensätzen für das Modell Abkürzungen im Lernen schafft und zu suboptimalen Lösungen für AU-Vorhersagen führt. Zweitens demonstrieren wir, dass eine starke IAT-Regularisierung notwendig ist, um identitätsinvariante Merkmale zu lernen. Schließlich klären wir den Entwurfsraum des IAT und beweisen empirisch, dass IAT das identitätsbasierte Abkürzungslernen umgeht und zu einer besseren Lösung führt. Unsere vorgeschlagenen Methoden, der gesichtsmaskierte Autoencoder (FMAE) und IAT, sind einfach, generisch und effektiv. Bemerkenswerterweise erreicht der vorgeschlagene FMAE-IAT-Ansatz neue Standarte-F1-Werte auf den Datenbanken BP4D (67,1 %), BP4D+ (66,8 %) und DISFA (70,1 %), was eine erhebliche Verbesserung gegenüber früheren Arbeiten darstellt. Wir veröffentlichen den Code und das Modell unter https://github.com/forever208/FMAE-IAT.请注意，这里有一些术语的翻译：- Facial Action Unit (AU): Gesichtsausdrucks-Einheit (AU)- Masked Autoencoder: maskierter Autoencoder- Identity Adversarial Training (IAT): adversarisches Identitäts-Training (IAT)- Facial Masked Autoencoder (FMAE): gesichtsmaskierter Autoencoder (FMAE)这些翻译在德语科技文献中较为常用，以保持专业性和一致性。