Lernen eines mehrdimensionalen Kantenmerkmal-basierten AU-Beziehungsgraphen für die Erkennung von Gesichtsausdrucks-Einheiten

Die Aktivierungen von Gesichtsaktionseinheiten (AUs) beeinflussen sich gegenseitig. Während das Verhältnis zwischen einem Paar von AUs komplex und einzigartig sein kann, scheitern bestehende Ansätze daran, solche Hinweise für jedes Paar von AUs in jeder Gesichtsausdruckdarstellung spezifisch und explizit darzustellen. In dieser Arbeit wird ein Modellierungsansatz für AU-Beziehungen vorgeschlagen, der durch tiefes Lernen einen einzigartigen Graphen erstellt, um die Beziehung zwischen jedem Paar von AUs des Zielgesichtsausdrucks explizit zu beschreiben. Unser Ansatz kodiert zunächst den Aktivierungsstatus jeder AU und ihre Assoziation mit anderen AUs in ein Knotenmerkmal. Anschließend lernt er eine Reihe multidimensionaler Kantenmerkmale, um mehrere taskspezifische Beziehungshinweise zwischen jedem Paar von AUs zu beschreiben. Bei der Lernung sowohl von Knoten- als auch von Kantenmerkmalen berücksichtigt unser Ansatz auch den Einfluss der einzigartigen Gesichtsausdruckdarstellung auf die Beziehungen zwischen den AUs, indem er die vollständige Gesichtsdarstellung als Eingabe verwendet. Experimentelle Ergebnisse auf den Datensätzen BP4D und DISFA zeigen, dass sowohl die Knoten- als auch die Kantenmerkmalslernmodule große Leistungsverbesserungen für CNN- und transformerbasierte Backbones bieten, wobei unsere besten Systeme die Standarte im Bereich der AU-Erkennung setzen. Unser Ansatz verfügt nicht nur über eine starke Fähigkeit zur Modellierung von Beziehungshinweisen für die AU-Erkennung, sondern kann auch leicht in verschiedene Backbones integriert werden. Unser PyTorch-Code ist öffentlich zugänglich gemacht worden.