Tiefe adaptive Aufmerksamkeit für die gemeinsame Detektion von Gesichtsaktionseinheiten und das Ausrichten von Gesichtern

Die Erkennung von Gesichtsausdrucks-Einheiten (AUs) und die Ausrichtung von Gesichtern sind zwei hoch korrelierte Aufgaben, da Gesichtslandmarken präzise AU-Positionen liefern können, um die Extraktion sinnvoller lokaler Merkmale für die AU-Erkennung zu erleichtern. Die meisten existierenden Arbeiten zur AU-Erkennung behandeln die Gesichtsausrichtung oft als Vorverarbeitungsschritt und lösen die beiden Aufgaben unabhängig voneinander. In diesem Artikel schlagen wir ein neues end-to-end Tiefenlernframework für die gemeinsame Erkennung von AUs und Gesichtsausrichtung vor, das bisher nicht untersucht wurde. Insbesondere werden zunächst mehrskalige geteilte Merkmale gelernt, und hochwertige Merkmale der Gesichtsausrichtung werden in die AU-Erkennung eingespeist. Darüber hinaus, um präzise lokale Merkmale zu extrahieren, schlagen wir ein adaptives Aufmerksamkeitslernmodul vor, das die Aufmerksamkeitskarte jedes AUs anpassbar verfeinert. Schließlich werden die zusammengestellten lokalen Merkmale mit den Merkmalen der Gesichtsausrichtung und globalen Merkmalen für die AU-Erkennung integriert. Experimente auf den Benchmarks BP4D und DISFA zeigen, dass unser Framework die aktuellen besten Methoden zur AU-Erkennung erheblich übertrifft.