Mehrfachansichtsdynamische Erkennung von Gesichtsausdrucks-Einheiten

Wir schlagen einen neuen Ansatz mit konvolutionellen Neuronalen Netzen (CNN) vor, um das Problem der feingranularen Erkennung bei der multiview-dynamischen Detektion von Gesichtsaktionseinheiten zu lösen. Wir nutzen die jüngsten Fortschritte im Bereich der großmaßstäblichen Objekterkennung, indem wir die Aufgabe, die Anwesenheit oder Abwesenheit einer bestimmten Aktionseinheit in einem Standbild eines menschlichen Gesichts zu erkennen, als ganzheitliche Klassifizierung formulieren. Anschließend untersuchen wir den Entwurfsraum unseres Ansatzes, indem wir sowohl geteilte als auch unabhängige Repräsentationen für einzelne Aktionseinheiten betrachten und verschiedene CNN-Architekturen zur Kombination von Farb- und Bewegungsinformationen ausprobieren. Im Rahmen des neuen Setups des FERA 2017 Challenges schlagen wir eine multiview-Erweiterung unseres Ansatzes vor, die zunächst den Blickwinkel ermittelt, von dem aus das Video aufgenommen wurde, und dann ein Ensemble von Aktionseinheitsdetektoren evaluiert, die für diesen spezifischen Blickwinkel trainiert wurden. Unser Ansatz ist ganzheitlich, effizient und modulär, da neue Aktionseinheiten leicht in das gesamte System integriert werden können. Unser Ansatz übertrifft das Baseline-Modell des FERA 2017 Challenges deutlich und erreicht eine absolute Verbesserung von 14 % im F1-Maß. Zudem liefert er vergleichbar gute Ergebnisse wie der Gewinner des FERA 2017 Challenges. Der Quellcode ist unter https://github.com/BCV-Uniandes/AUNets verfügbar.