Cross-Domain Facial Expression Recognition: Ein einheitliches Evaluationsbenchmark und adversariales Graphenlernen

Um das Problem der Dateninkonsistenzen zwischen verschiedenen Datensätzen zur Erkennung von Gesichtsausdrücken (Facial Expression Recognition, FER) anzugehen, wurden in den letzten Jahren zahlreiche Methoden für die Cross-Domain-FER (CD-FERs) entwickelt. Obwohl jede Methode überlegene Leistung verspricht, fehlen faire Vergleiche aufgrund inkonsistenter Auswahl der Quell-/Zieldatensätze und Merkmalsextraktoren. In dieser Arbeit analysieren wir zunächst die durch diese inkonsistenten Auswahlmöglichkeiten verursachten Leistungseffekte und re-implementieren dann einige gut funktionierende CD-FER-Methoden sowie kürzlich veröffentlichte Domänenanpassungsalgorithmen. Wir stellen sicher, dass alle diese Algorithmen dieselben Quelldatensätze und Merkmalsextraktoren verwenden, um faire CD-FER-Bewertungen zu gewährleisten. Wir feststellen, dass die meisten aktuellen führenden Algorithmen adversariales Lernen einsetzen, um domäneninvariante Merkmale insgesamt zu lernen und Domänenschwankungen abzumildern. Diese Algorithmen ignorieren jedoch lokale Merkmale, die sich besser zwischen verschiedenen Datensätzen übertragen lassen und detailliertere Inhalte für eine feingranulare Anpassung tragen. Um diese Probleme zu lösen, integrieren wir die Graphendarstellungspfortierung mit dem adversariellen Lernen zur Cross-Domain-Gesamtheit-und-Lokal-Merkmalskoanpassation durch die Entwicklung eines neuen Frameworks für adversariale Graphendarstellungsanpassung (Adversarial Graph Representation Adaptation, AGRA). Speziell baut es zunächst zwei Graphen auf, um Gesamtheits- und Lokalbereiche innerhalb jeder Domäne sowie zwischen verschiedenen Domänen zu korrelieren. Dann extrahiert es Gesamtheit-und-Lokal-Merkmale aus dem Eingangsbild und verwendet lernfähige statistische Verteilungen pro Klasse, um die entsprechenden Graphenknoten zu initialisieren. Schließlich werden zwei gestapelte Graph-Convolutions-Netze (GCNs) eingesetzt, um Gesamtheit-und-Lokal-Merkmale innerhalb jeder Domäne zu verbreiten und ihre Interaktion zu erforschen sowie zwischen verschiedenen Domänen für eine Gesamtheit-und-Lokal-Merkmalskoanpassation. Wir führen umfangreiche und faire Bewertungen auf mehreren gängigen Benchmarks durch und zeigen, dass das vorgeschlagene AGRA-Framework die bisher besten Methoden übertreffen kann.